Обучение генеративной нейросети под стиль обложек старинных каталогов семян

Старинные обложки каталогов семян (конца XIX — начала XX века) — это выдающиеся образцы коммерческой графики и ботанической иллюстрации. Чаще всего они создавались с помощью детальной многоцветной литографии и хромолитографии, благодаря чему овощи, фрукты, ягоды и цветы на них выглядели невероятно яркими и идеализированными.
Обложки таких каталогов — стилистика, которую я выбрала для обучения нейросети. Эти иллюстрации обладают ярко выраженными и устойчивыми художественными чертами: насыщенная, но при этом ограниченная палитра, однотипные сюжеты с бесконечной вариативностью за счёт количества изображенных культур, фактурность выцветающей бумаги.

Цель проекта — натренировать Stable Diffusion XL на стиль старинных коммерческих иллюстраций и затем создавать новые иллюстрации, используя похожий художественный язык. Важно определить, сможет ли модель усвоить устойчивые признаки стиля: композицию, палитру, текстуру и общее настроение изображений.

Изображения взяты из публичных архивов Internet Archive Wayback Machine.

Для подготовки датасета я обработала 33 изображения так, чтобы привести их к единому формату: пропорции 1:1 и размер 512 × 512 пикселей.

Так же некоторые иллюстрации было необходимо избавить от текста. Для этого я использовала генеративную нейросеть Google Nano Banana Pro.
Вот пример промпта: «replace all text with plain background».

Работа выполнялась в среде Kaggle. В качестве базовой модели была выбрана Stable Diffusion XL 1.0, а дообучение осуществлялось методом DreamBooth + LoRA. Данный подход даёт возможность адаптировать модель к нужному визуальному стилю без полного переобучения, используя при этом сравнительно небольшой датасет.

Отдельно я загрузила в среду Kaggle датасет «vegetables» из 33 изображений. Создав директорию vegg-directory, перенесла содержимое датасета в неё.

Текстовые описания изображений из датасета создавались автоматически, посредством BLIP image captioning model.

После обучения я загрузила базовую модель Stable Diffusion XL с полученными весами LoRA. Промпты формулировались соответственно тематике, использовались разные сочетания овощей в композициях.

Я считаю удачными изображения больших плодов, таких как тыквы, арбузы и дыни. Нейросеть хорошо передаёт характерные им фактуры и формы.

Почти на каждой генерации присутствуют артефакты: одни объекты перетекают в другие, смешиваются формы и фактуры. Думаю, это связано с тем, что композиции очень динамичные, поэтому нейросеть хуже улавливает, где начинается один объект и заканчивается другой.

Получившаяся серия изображений сохранила многие черты заданной стилистики. Однако изображения, сгенерированные нейросетью, отличаются более масштабной и тяжелой композицией. Объекты выглядят монументальнее и реалистичнее, чем на референсе. При этом цветовая палитра, фактурность, сюжеты — переданы удачно и точно.