MUCHA AI: обучение Stable Diffusion под стиль Альфонса Мухи
Идея проекта
Альфонс Муха — один из наиболее знаменитых чешских художников эпохи модерна. Как человек, интересующийся историей искусства и занимающийся творчеством самостоятельно, я выделяю его для себя как одного из негласных «учителей»: спустя годы рисования мной был сделан вывод, что больше всего и с наибольшей нежностью я люблю изображать женщин, и, пусть это прозвучит странно, рисовать длинные локоны, вьющиеся и разлетающиеся по всему пространству листа.
Потому я и выбрала творчество Мухи для обучения нейросети: оно очень близко мне по своему содержанию, и мне было интересно посмотреть, справится ли нейросеть с генерацией одной из самых отличительных черт мухинской графики — с изображением длинных волос.
Работы художника находятся в общественном достоянии согласно Директиве ЕС о сроке охраны авторского права, который составляет 70 лет после смерти автора. Это правило закреплено в чешском Законе об авторском праве.
Подготовка датасета
Исходный датасет представлял собой подборку из 32 работ художника, включавших в себя графику и рекламные плакаты.
Однако поскольку большая часть работ выполнена в вытянутом вертикальном формате, все изображения были нарезаны на 2-3 части. Было важно научить нейросеть изображать не только портреты, но и окружающую их обстановку: например, локоны, одежды и орнаменты.
Весь код был взят из преподавательского репозитория. В него были изменены лишь изменения, касающиеся директорий с референсами и HuggingFace токена.
Обратите внимание! В самом коде верная директория референсов — contetnt/mucha/amucha/, а «piece of art in MUCHA style, " пишется именно так, с запятой и пробелом.
Генерация конкретных объектов
piece of art in MUCHA style, , a graceful Art Nouveau woman with flowing hair, surrounded by grapevines and clusters of grapes, ornate circular background, decorative floral frame, soft warm tones, detailed line art
Также я проверила, способен ли генерировать ИИ животных в подобном стиле. Первая генерация получилась идеальной: ничего лишнего. Однако со второй и позднее Stable Diffusion начал генерировать сначала людей на подобии лошадей, а потом и вовсе просто женщин.
Данная генерация проверяла способность обученной модели генерировать рекламные плакаты. Большую часть творчества Альфонса Мухи, а также ощутимую часть моих референсов, занимали графические и декоративные работы для рекламы.
Как мы видим, нейросеть уловила задумку рекламного плаката, исправно генерируя подобие склянок для парфюма, а также изменив композицию генерируемых изображений.
1. piece of art in MUCHA style, , a beautiful middle east woman with dark hair in traditional robes. ornamental background, art nouveau detailed borders of a painting, high detailed 2. piece of art in MUCHA style, , a beautiful asian woman in kimono, holding a traditional japanese umbrella. ornamental floral background, art nouveau, pinkish tones, high detailed
Генерация людей разной этнической принадлежности также была выполнена успешно: видно, что нейросеть старалась сделать лицо более азиатским на генерации с японкой.
Проверка консистентности результата генерации по единой структуре промпта
1. beautiful woman with long bright pink hair in modern clothes sitting in a peachy coloured sun with black earphones in. side profile shot, light peach tones, high detailed line 2. beautiful woman with short bright blue hair in modern clothes sitting in a yellow moon with black earphones in. side profile shot, light blue tones, high detailed line
В данной паре изображений мне хотелось посмотреть, способен ли ИИ соблюсти консистентность задумки — для возможного создания диптихов или триптихов, а также проверить, способен ли он внести предметы современного обихода (в данном случае, наушники) в работы подобного стиля без искажений. С изображением конкретного объекта (headphones) он справился хорошо, а вот абстрактное «modern clothes» осталось им не понятым.
1. piece of art in MUCHA style, , radiant woman with golden hair holding a bouquet of lilies, sunrise light behind her, circular decorative background with floral ornaments 2. piece of art in MUCHA style, , radiant woman with golden hair holding a bouquet of roses, sunrise light behind her, circular decorative background with floral ornaments
Задний план и общий сюжет также оказались постоянными при замене лишь одной составной части кода: я попросила заменить лилии на розы.
Артефакты в генерациях
1. a beautiful smiling woman with red cheeks and a white cat on her shoulder. muted blue tones, high detailed 2. a beautiful smiling woman with red cheeks, black hair and a white cat on her shoulder. muted blue tones, high detailed
В данной паре изображений я проверяла, насколько глубоко нейросеть заблуждается: в случае с первым промптом на протяжении порядка 15 генераций она стабильно выдавала красный цвет волос. Я попробовала дописать в промпт «black hair» и убедилась: нейросеть поняла мой запрос, и смогла нарушить связку в окрасе щёк и волос, ибо щёки остались красными в соответствии с прмомптом.
Так как в датасете присутствовало разделение референсов на две или три плашки, пару раз нейросеть генерировала аналогичные им изображения, обрезая верх и низ композиции.
При генерации аналогии к красному коню, представленному в первой части проекта, не было получено достойного результата. Добавление «no people» также игнорировалось нейросетью.
Выводы исследования
После проведения тренировки нейросети, было выявлено, что стиль Мухи достаточно универсален и может быть считан ИИ. Помимо этого, я смогла добиться устойчивых результатов и стилистического единства. Мой личный интерес был удовлетворён: локоны ИИ рисует, кажется, лучше всего.
Использованные ресурсы: Stable Diffusion — для непосредственного до-обучения. Hugging Face — получение токена на сохранение полученного training.
