Обучение генеративной нейросети под стиль средневековых миниатюр

Книжная миниатюра — жанр изобразительного искусства, получивший широкое распространение в эпоху Средневековья. Средневековые миниатюры обладают рядом художественных особенностей, выделяющих их среди других произведений и обеспечивающих их узнаваемость. Основной идеей моего проекта стала генерация изображений, так или иначе связанных с современностью, в стилистике средневековых миниатюр. Мне хотелось посмотреть, как могли бы выглядеть оформленные в этом стиле объекты, имеющие непосредственное отношение к сегодняшней реальности.

Сначала происходит установка необходимых библиотек и скрипта для тренировки модели.

Далее происходит загрузка изображений в Google Collab и вывод нескольких изображений для просмотра и проверки правильности загрузки.

Далее идет инициализация пайплайна обработки изображений. Используется предобученная модель BLIP, которая описывает содержимое изображений.

Затем создается JSON-файл с описаниями изображений в средневековом стиле: к каждой автоматически сгенерированной подписи изображения добавляется префикс «photo in medieval style».

Далее происходит инициализация акселератора для ускорения обучения модели и вход в аккаунт Hugging face.

Затем происходит запуск обучения.

После этого модель сохраняется в репозиторий Hugging face.

Далее происходит загрузка стандартной модели Stable Diffusion и добавление к ней весов LoRA для тонкой настройки модели.

После этого можно приступать к генерации изображений для проекта.

Для первой серии изображений я решила посмотреть, как нейросеть встроит персонажей современной поп-культуры в стилистику средневековых миниатюр, чтобы понять, насколько хорошо нейросети удастся встроить в один стиль объекты другого. Для антропоморфных персонажей нейросеть часто создавала одежду в средневековом стиле, чтобы они смотрелись более органично. Также нейросеть часто сама добавляла декоративные элементы, например, орнаментны или паттерны, обеспечивающие узнаваемость стиля, но иногда их приходилось вписывать в промпт отдельно.