Куинджи, Архип Иванович «Вечер на Украине» 1878 год
КОНЦЕПЦИЯ
Архип Куинджи — художник, которого невозможно спутать ни с кем. Его фирменный приём — свет, вырывающийся из тьмы. Лунная дорожка на Днепре, золотистые отсветы на траве, почти мистическое свечение там, где его быть не должно.
Стандартные нейросети этот приём не понимают. Они умеют рисовать «ночь» и «луну», но не умеют передавать тот самый куинджиевский контраст — когда свет не просто присутствует, а является главным действующим лицом.
Задача проекта: дообучить Stable Diffusion XL на небольшой коллекции работ Куинджи, чтобы модель научилась не просто копировать композиции, а чувствовать его манеру работы со светом.
ДАТАСЕТ
Коллаж картин Куинджи Архипа Ивановича.
Для обучения использовалось всего 16 изображений — сознательное решение.
LoRA хороша тем, что позволяет передать стиль на малом объёме данных, избегая переобучения под конкретные сюжеты.
Все промпты начинаются с фразы «in the style of kuindzhi». Это якорь, который привязывает стиль к конкретному запросу.
Каждое изображение получило текстовое описание в формате JSONL.
ОБУЧЕНИЕ
Вместо полного дообучения всей модели (что потребовало бы огромных ресурсов) использовался метод LoRA — Low-Rank Adaptation. Он добавляет к базовой сети небольшой набор дополнительных весов, которые обучаются под конкретную задачу. Результат: модель весом в несколько гигабайт дополняется адаптером всего на десятки мегабайт.
Параметры обучения.
Базовая модель: stabilityai/stable-diffusion-xl-base-1.0
VAE: madebyollin/sdxl-vae-fp16-fix — помогает избежать артефактов и экономит память
Разрешение: 768 пикселей
Шагов обучения: 500
Скорость обучения: 1e-4
Batch size: 1 с накоплением градиентов — позволило обойтись без мощного сервера
Обучение заняло часа на доступной видеокарте от Google Colab. Это один из главных плюсов LoRA: экспериментировать со стилями можно быстро и без дата-центров.
ГЕНЕРАЦИЯ
После обучения достаточно загрузить LoRA-адаптер и отправить запрос:
Фраза «in the style of kuindzhi» остаётся обязательной — это ключ, который активирует обученные веса. Всё остальное — поле для творчества.
prompt: «in the style of kuindzhi, night»
prompt: «in the style of kuindzhi, night and animals»
prompt: «in the style of kuindzhi, a man walks through the thicket of the forest»
prompt: «in the style of kuindzhi, day»
prompt: «in the style of kuindzhi, forest with morning light»
prompt: «in the style of kuindzhi, night and animals»
prompt: «in the style of kuindzhi, rainbow»
ИТОГИ
Проект показал, что даже на нескольких изображениях можно обучить модель чувствовать сложный художественный стиль. LoRA оказалась идеальным инструментом для таких задач: быстро, дёшево, с предсказуемым результатом.
Полученный адаптер весит считанные мегабайты, его можно использовать в связке с другими LoRA, выкладывать на Hugging Face или применять в собственных генерациях.
Главное же — нейросеть наконец-то научилась видеть свет так, как это делал Куинджи. Ну, или хотя бы приблизилась к этому.
ССЫЛКИ
