Поль Гоген — один из самых ярких постимпрессионистов, чей стиль строится на синтетизме, плоскостности, декоративности и насыщенном цвете.
Меня всегда привлекало, как он отказывался от натуралистичной перспективы в пользу выразительных цветовых пятен и обобщённых форм.
Я решила создать LoRA-модель, которая переняла бы эти ключевые визуальные черты и позволила генерировать новые сюжеты, уже не принадлежащие кисти художника, но выполненные в его узнаваемой манере.
Для обучения было отобрано 30 изображений — характерных работ Гогена из разных периодов: таитянские циклы, бретонские сцены, портреты и натюрморты.
Все изображения взяты с сайта Артхив. Поскольку Поль Гоген умер в 1903 году, его произведения уже перешли в общественное достояние, что делает их использование для обучения нейросети этически и юридически корректным.
P. S. также я обращала внимание на отношение картин к частным коллекциям или частным выставкам, и взяла только картины относящиеся к национальным галлереям
P. P. S. не требующие покупки цифровой версии для использования
Обучение проводилось в Google Colab по методу LoRA на базе Stable Diffusion XL 1.0.
В качестве уникального токена стиля использовалось словосочетание gogen style, а для каждого изображения создавалось текстовое описание, включающее этот токен и краткий сюжет (например: «a painting in gogen style, a painting of a road with trees and a church in the background»).
Результаты
prompts: <…> fantasy landscape, vibrant colors, detailed <…> portrait of a warrior, detailed armor <…> ethereal elf princess in forest, soft lighting <…> street art mural with bold colors <…> magical forest with glowing mushrooms <…> steampunk airship in the sky <…> cosmic deity with stars <…> tarot card illustration, the sun, ornate frame
Итоговая LoRA-модель успешно переняла основные черты стиля Гогена:
- плоскостную композицию - обобщённые, почти силуэтные формы - декоративность и орнаментальность - характерное для художника тяготение к тёплым, «земляным» оттенкам
Полученная модель может служить инструментом для экспериментов с «гогеновской» эстетикой в новых сюжетах — от современных портретов до фантастических ландшафтов.
Основные ограничения связаны с потерями детализации при низком разрешении обучения и цветовыми искажениями, которые можно частично компенсировать более разнообразным датасетом или постобработкой.
В рамках проекта были применены следующие генеративные и вспомогательные нейросетевые модели:
BLIP (Bootstrapping Language-Image Pre-training) — использовался на этапе подготовки датасета для автоматической генерации текстовых описаний (подписей) к исходным изображениям. Модель загружалась из репозитория Salesforce/blip-image-captioning-base и применялась к каждому изображению. Это позволило создать файл metadata.jsonl, необходимый для обучения LoRA-модели.
DeepSeek — применялась на этапе подготовки текстового сопровождения проекта, генерация идей для промптов, написание и структурирование текста экспликации, уточнение технических деталей описания процесса обучения и анализа результатов.
Stable Diffusion XL + DreamBooth LoRA — основная обученная генеративная модель, созданная в рамках проекта. После дообучения на собранном датасете она использовалась для генерации итоговой серии изображений в заданном стиле.
