Контекст
Луис Уильям Уэйн, английский художник, чьё имя неразрывно связано с миром антропоморфных кошек, котов и котят. Он начинал как иллюстратор для журналов и газет, но именно кошачьи сюжеты принесли ему известность. Когда его жена Эмили Ричардсон заболела раком, Луис искал способ поддержать её: он учил их котёнка Питера простым трюкам, забавно наряжал его в очки, словно тот читал книгу, и рисовал его. Эмили посоветовала мужу опубликовать эти рисунки. Это решение впоследствии стало поворотным в его судьбе, хотя признание пришло к нему уже после смерти жены.
С возрастом состояние художника ухудшалось, ему был поставлен диагноз «шизофрения». Болезнь постепенно прогрессировала, появлялись галлюцинации. Многие предполагают, что именно в этот период в его работах начали возникать более абстрактные образы.
Концепция
Именно фрактально-геометрические мотивы в творчестве Уэйна навели меня на мысль об использовании предобученных стилевых нейросетей для генерации изображений в его манере. Фракталы всегда казались мне явлением, в котором математическая строгость соединяется с художественной выразительностью. Связь между фракталами и генеративными сетями я вижу в принципе самоподобия: многие реальные данные, такие как природные текстуры и живые формы, обладают фрактальными свойствами, и модели невольно воспроизводят их в процессе обучения. Разумеется, фракталы не лежат в основе генеративных архитектур, однако сам принцип самоподобия проявляется как в структуре данных, так и в некоторой степени в организации самих нейросетевых подходов.
Исходные изображения для обучения
Результирующая серия изображений
prompt: photo in LOUIS WAIN style, cat is looking at the starry sky from a big tower
prompt: photo in LOUIS WAIN style, cat is looking at the starry sky from a big tower
Первые сгенерированные изображения показали, что нейросеть хорошо справляется с рисованием кошек в заданном стиле, однако получить по-настоящему фрактальные изображения не удалось.
prompts: photo in LOUIS WAIN style, cat playing with a ball; photo in LOUIS WAIN style, cat is eating a cake
Всё же при отрисовке одного кота в сцене фон успешно превращался во фрактальный узор.
prompts: photo in LOUIS WAIN style, woman in the cafe; photo in LOUIS WAIN style, woman playing with a cat; photo in LOUIS WAIN style, woman sitting on a chair in the cafe
Интересно, что при запросе нарисовать женщину на изображении неизменно появлялись коты.
prompt: photo in LOUIS WAIN style, woman walking in the park
Однако если уточнить, что женщина находится в парке, нейросеть всё же генерировала человеческую фигуру.
prompts: photo in LOUIS WAIN style, dog; photo in LOUIS WAIN style, dog is playing with ball
При попытке генерации изображения с собакой животное всё ещё сильно напоминало кота, однако черты мордочки заметно изменялись.
prompt: photo in LOUIS WAIN style, a car on a London street
При генерации изображения автомобиля внутри машин по-прежнему отрисовывались коты. При этом сами автомобили своим дизайном напоминали старые машины Лондона, что соответствует тексту промпта.
prompt: painter Louis Wain with his wife Emily Richardson in the park
Была также предпринята попытка изобразить художника и его жену, ограничившись в промпте лишь их именами. К удивлению, полученное изображение представляло собой антропоморфного кота во фраке и кошку в платье.
prompt: man drawing a cat that is drawing a man; Луис Уэйн гладит кота
Особого внимания заслуживает результат, полученный до добавления в промпты имени Луиса Уэйна. На запрос о генерации человека, рисующего кота, а тот в свою очередь рисующего человека, нейросеть выдала изображение мужчины, черты лица и причёска которого явно отсылали к облику самого художника. Мужчина протягивал руку к коту. Увиденное вызвало прямую ассоциацию с сохранившейся фотографией Луиса, гладящего кота, и породило вопрос о том, можно ли объяснить подобное совпадение лишь случайностью.
Выводы
Несмотря на то что изначально поставленная задача достижения выраженной фрактальной геометрии в духе позднего периода Уэйна не была полностью реализована, эксперименты выявили иные интересные особенности работы модели. Наиболее последовательно нейросеть воспроизводила антропоморфные кошачьи образы, причём их присутствие оказывалось устойчивым даже в тех генерациях, где они не предполагались исходным запросом. Исключение составили случаи с добавлением уточняющих локаций, таких как парк, а также сцены, включающие множественную вложенность действий. Отдельного внимания заслуживает генерация, стихийно воспроизведшая черты самого Луиса Уэйна до введения его имени в промпт, что может свидетельствовать о сложном характере ассоциативных связей, формирующихся внутри модели в процессе обучения на ограниченном визуальном материале.
Ноутбук с кодом для обучения и описанием процесса обучения
Описание применения генеративной модели
В проекте была использована нейросеть DeepSeek для исправления логических, орфографических и пунктуационных ошибок в тексте.
Также был использован AI-увеличитель изображений Upscayl для улучшения качества картинки для обложки.
