Обучение генеративной сети под стиль Unfins
Идея проекта
Для обучения генеративной нейросети я решила взять работы Unfins, автора комикса «Вампирская семейка».
Работы Unfins очень выразительны, благодаря совмещению абсурдных ситуаций и жутких лиц героев история наполняется множеством невероятно забавных моментов.
Лица героев Unfins часто пугающие, а потому, по моим предположениям, некоторые «осечки» нейросети не испортят результат, а усилят его.
Примеры исходных изображений:
Результат
Сначала я просила обученную нейросеть генерировать лица людей, как в комиксе Unfins. Я использовала такие промты, как «girl and boy laughing», «girl with flower smiling». Смысл в том, что запрос выглядит обычно и безобидно, а нейросеть создаёт из этого нечто криповое, работая как скример.
Затем я решила поэкспериментировать и создать портреты животных в этом стиле. В итоге совершенно случайно получилась серия по-настоящему жутких зверей.
Можно сделать вывод, что нейросеть смогла отразить следующие особенности стиля Unfins:
- цветовая палитра - выражения лиц персонажей - особенности лайна и штриховки
Хоть нейросеть и не смогла в полной мере отразить исходный стиль Unfins и многие картинки с людьми вышли слишком кривыми, результирующие изображения все равно получились выразительными и своей цели добились: они жуткие, пугающие, и совмещение стиля Unfins с неидеальной работой нейросети эти качества усилили.
Кроме того, этот стиль отлично лёг на портреты животных, что породило неожиданную и удачную серию работ: они схожи с оригиналом, но являются чем-то новым.
Для обучения нейросети я использовала 50 изображений 512×512 пикселей.
Сначала я импортировала необходимые библиотеки, затем загрузила сами изображения во внутреннюю папку гугл колаба.
Затем я сгенерировала подписи к изображениям с помощью BLIP, добавила токен для входа в систему Hugging Face, после чего начала обучение модели.
В конце я загрузила получившуюся модель на Hugging Face и приступила к генерации изображений.
В проекте использовались: - Stable Diffusion - Google Colab - Hugging Face
