ИДЕЯ
или как был придуман зоопарк
Я являюсь автором серии иллюстраций различных животных и птиц. Данная серия из 10 работ легла в основу обучения нейросети.
Как автору мне было интересно проанализировать, насколько точно мой стиль может наследоваться путём генерации. В результате эксперимента была создана серия работ, которую я назвала «ZOO-generation»
Стиль содержит:
• чёрный фон; • векторные формы; • контрастный цвет глаз; • цвет языка и глаз одинаковый; • текстура бумаги; • цветные тени; • обводка глаз; • реснички; • брови; • блики в глазах; • узкий зрачок.
ОБУЧЕНИЕ
Модель: Stable Diffusion XL Метод: DreamBooth с LoRA Тип обучения: Дообучение для внедрения нового визуального стиля
Разрешение изображений: 512 Количество изображений за один шаг обучения: 2 Всего шагов обучения: 500 Используется 16-битной точности Оптимизатор Adam в 8-битном формате Формат изображений: PNG Префикс описания: «photo in dan style, "
ОСНОВНАЯ СЕРИЯ
Большинство полученных генераций соотвествуют исходному стилю. Однако на изображениях могут встречаться артефакты.
бегемот
Что удалось повторить:
• векторные формы; • контрастный цвет глаз; • текстура бумаги; • цветные тени; • обводка глаз; • реснички; • брови; • блики в глазах; • узкий зрачок.
Утерянный черты:
• цвет языка и глаз одинаковый; • чёрный фон.
еноты
Нейросеть генерирует фон контрастный животным. В то время, когда на референсах у всех иллюстраций чёрный фон.
обезьяны
Некоторые элементы слишком «текучие», хотя на иллюстрациях даже тени имеют чёткие формы
лев и медведь
Отличительные черты иллюстраций повторяются не на всех генерациях.
чёрный какаду
павлин и попугай
кошки
ДОПОЛНИТЕЛЬНЫЕ СЕРИИ
В оригинальной серии присуствует иллюстрация с таксой. Она натолкнула на идею проверить, как нейросеть справится с генерацией различных пород.
Хаски
такса и шпиц
золотой ретривер и мопс
Кроме существующих животных нейросеть была опробована в генерации мифических существ, таких как феникс и единорог.
ВЫВОД
В общих чертах нейросеть повторяет характерные черты стиля. При наличии более обширного датасета для обучения характерные черты наследовались бы ещё точнее. Однако даже при таком количестве референсов нейросеть в большинстве случаев повторяет те черты, которые я выделяла отличительными при создании иллюстраций.
