Обучение нейросети стилю Хильме аф Клинт

Хильма аф Клинт — шведская художница начала XX  века, одна из первых представительниц абстрактного искусства. Её работы основаны на сложной системе символов, спиралей, геометрических форм и цветовых взаимодействий. Аф Клинт рассматривала живопись как способ передачи духовных знаний и создавала композиции, которые воспринимались ею как визуальные диаграммы невидимых процессов.

Меня заинтересовала возможность интерпретации её художественного языка средствами генеративного искусственного интеллекта. В своём проекте я обучила модель Stable Diffusion на корпусе работ Хильмы аф Клинт, чтобы создать инструмент, способный генерировать новые абстрактные композиции в логике её визуальной системы.

Все изображения, использованные для обучения модели, находятся в общественном достоянии (public domain) и были отобраны из открытых архивных источников.

Официальный сайт

Хильма аф Клинт визуализировала «невидимые силы» — духовные структуры, космические порядки, внутренние законы мироздания.

Сегодня одной из таких невидимых сил является искусственный интеллект.

В своем проекте я решила попробовать визуализировать работы Хильмы аф Клинт, если бы она изображала внутренний мир ИИ

Для обучения нейросети был собран датасет из 42  изображений работ Хильма аф Клинт, в которых прослеживаются характерные черты её художественного языка: абстрактная геометрия, символические формы, плоскостная композиция и сочетание органических и структурных элементов. Работа над проектом велась в среде Google Colab с использованием библиотеки Diffusers.

Первым этапом стала настройка рабочей среды: установка необходимых библиотек и подключение Google Drive, где размещался датасет и сохранялись результаты обучения модели. Это позволило организовать удобный доступ к данным и обеспечить сохранность результатов.

Далее был подготовлен датасет: все изображения были приведены к квадратному формату и дополнены текстовыми описаниями (caption). Для этого использовался единый шаблон, начинающийся с токена «hklstyle» , который служит маркером стиля, а также включает характеристики визуального языка: геометрические формы, плоскостные цветовые поля и символическую абстракцию. Использование единого шаблона описаний позволило модели лучше усвоить стилистическую целостность изображений.

После подготовки датасета был выполнен основной этап — обучение модели Stable Diffusion XL  с использованием метода LoRA (Low-Rank Adaptation). Данный подход позволяет адаптировать уже обученную модель под конкретный художественный стиль при относительно небольшом объеме данных. В процессе обучения модель усваивала ключевые особенности стиля, включая геометрическую структуру, символичность и композиционные принципы.

После завершения обучения были сохранены контрольные точки (checkpoints), из которых была выбрана финальная версия модели. Полученные веса LoRA были загружены и применены к базовой модели Stable Diffusion XL  для последующей генерации изображений.

Генерация изображений осуществлялась с помощью специально сформулированных текстовых запросов (prompt), отражающих концепцию проекта — «внутренний мир искусственного интеллекта». Для повышения вариативности результатов и ухода от однотипных композиций использовались negative prompt, ограничивающие симметричные и центрированные формы, а также излишнюю реалистичность. Основной объём изображений был сгенерирован с использованием финальной версии обученной модели.

Обученная модель смогла частично воспроизвести ключевые особенности стиля художницы. Наиболее точно были переданы геометрические формы и общая абстрактная структура изображений. Также в ряде генераций прослеживается характерная плоскостность композиции и использование символических элементов.

Однако в процессе генерации возникали и ограничения. На ранних этапах модель часто стремилась к созданию симметричных композиций с центральным кругом, что не всегда соответствует оригинальным работам художницы. Для решения этой проблемы в процессе генерации были использованы negative prompt, ограничивающие симметрию и центрированность.

Кроме того, некоторые изображения получались излишне размытыми или уходили в более живописную, «пятновую» абстракцию, в то время как в оригинальных работах присутствует более чёткая структура и геометрическая логика. Для корректировки этого эффекта дополнительно уточнялись текстовые запросы, в которых акцент делался на плоскостности, геометрии и отсутствии объёмных форм.

Проект создан с использованием ИИ в рамках курса, программа которого ориентирована на решение задач средствами искусственного интеллекта.

Были применены:

Для генерации изображений — модель Stable Diffusion  XL, дообученная с использованием методов DreamBooth и LoRA на датасете работ Хильма аф Клинт