Обучение нейросети в стиле картин Яна ван Эйка

Цель проекта — обучить модель Stable Diffusion XL создавать изображения в стиле Яна ван Эйка с помощью DreamBooth и LoRA.

Ян ван Эйк был выбран не случайно. Ранее уже была выполнена визуальная работа, посвящённая цветопередаче в его живописи. В этом проекте это исследование было продолжено в генеративном формате.

Стиль Яна ван Эйка хорошо подходит для такой проверки, потому что он очень узнаваем и при этом достаточно сложен для генерации.

Стиль требует точной передачи кожи, стекла, золочения, архитектурных деталей и глубины пространства. Поэтому результат здесь показывает не только декоративное сходство, но и качество обучения.

Такой набор был нужен, чтобы модель увидела стиль в разных жанрах. Это важно, потому что задача состояла не в повторении одного сюжета, а в переносе общего художественного языка на разные сцены.

Все изображения были приведены к формату 512 × 512. Квадратный кроп использовался как единый рабочий формат для обучения. Это помогло сделать датасет более ровным и подготовить его к дальнейшей обработке.

Следующим этапом стала подготовка текстовых подписей для датасета. Для этого использовалась модель BLIP, которая автоматически генерировала описание каждого изображения.

К каждой подписи добавлялся префикс Jan van Eyck style. Это помогало закрепить за всеми изображениями единый стилевой маркер и точнее связать набор с конкретным художественным языком.

На основе изображений и подписей был собран файл metadata.jsonl. В нём каждому файлу соответствовало своё текстовое описание. Именно этот файл затем использовался в обучении LoRA.

LoRA здесь была особенно уместна, потому что она дообучает только часть параметров модели. Это снижает нагрузку на память, ускоряет обучение и помогает избежать слишком жёсткого переобучения на маленьком наборе изображений.

Обучение проводилось с разрешением 512 × 512, batch size 2, gradient accumulation steps 3, learning rate 1e-4 и максимальным числом шагов 500. Такой набор параметров позволил достаточно плотно усвоить стиль и сохранить вариативность в генерации.

После обучения была сгенерирована серия из 10 изображений. В неё вошли портрет, религиозная сцена, интерьер, алтарная композиция, пейзаж, натюрморт и сцены с несколькими фигурами.

Серия нужна не только как итог, но и как проверка диапазона модели. В одних изображениях важнее лицо и ткань, в других — предметная среда, архитектура, пейзаж или групповая композиция. За счёт этого можно увидеть, насколько устойчиво модель работает со стилем в разных типах сцен.

Портрет благородной дамы в интерпретации модели после обучения на датасете Яна ван Эйка.

Это изображение показывает, что модель уверенно усвоила портретную схему, характерную для нидерландской живописи XV века. Здесь хорошо читаются трёхчетвертной поворот, мягкий свет и внимание к ткани. Особенно важен результат в области лица: пропорции выглядят естественно, взгляд собран, заметных искажений нет.

Промпт: Jan van Eyck style, portrait of a noblewoman, brocade dress, Gothic window, distant landscape, highly detailed face, realistic eyes, sharp focus

Религиозная сцена с Мадонной и младенцем в стилистике северного Возрождения.

Здесь модель работает уже не только с лицом, но и с религиозной иконографией. В изображении переданы готическая архитектура, золотые нимбы и спокойный характер лиц. Формулировка close-up portrait помогла усилить внимание к лицевой части композиции и сделать результат более точным.

Промпт: Jan van Eyck style, close-up portrait of Madonna and Child enthroned in a Gothic cathedral, golden halos, soft light, highly detailed face, perfect facial features, realistic eyes, sharp focus, oil painting

Фигура купца в интерьерной сцене с характерной предметной средой.

Это изображение важно для проверки интерьерной сцены. Здесь работают не только лицо и одежда, но и предметная среда: свеча, окно, городской вид, драпировки. Такой результат показывает, что модель усвоила не только внешний облик персонажа, но и организацию пространства.

Промпт: Jan van Eyck style, wealthy merchant, Flemish interior, glowing candle, city view through window, highly detailed face, realistic eyes, sharp focus

Сцена с двумя персонажами и более мягким, лирическим настроением.

Эта работа показывает, как модель справляется с двумя фигурами сразу. Важен не только факт, что лица не распадаются на артефакты, но и то, что сцена сохраняет цельное настроение. Сад, дальний план и романтический сюжет создают более мягкую вариацию внутри общего стиля.

Промпт: Jan van Eyck style, young couple exchanging rings, blooming garden, distant castle, highly detailed faces, realistic eyes, romantic mood, sharp focus

Алтарная композиция с ангелами и сложной декоративной средой.

Это один из самых сложных сюжетов серии. Здесь модель должна удерживать золочение, музыкальные инструменты, насыщенный цвет и несколько лиц в одной композиции. Результат показывает, что декоративная сложность и спокойная выразительность образов были усвоены достаточно уверенно.

Промпт: Jan van Eyck style, close-up portrait of angels playing musical instruments in altarpiece, gold leaf, vibrant colors, highly detailed face, perfect facial features, serene expression, realistic eyes, sharp focus, oil painting

Пейзажная сцена с мягким светом и глубиной пространства.

Этот результат важен как проверка дальних планов и воздушной перспективы. Здесь стиль проявляется не через крупное лицо, а через свет, пейзажную глубину и спокойную композицию. Это показывает, что модель усвоила не только ближнюю деталь, но и общий принцип построения среды.

Промпт: Jan van Eyck style, serene landscape, winding river, medieval castle, farmers, distant mountains, soft light, highly detailed

Натюрморт с предметами, важными для материальности и символической среды.

Натюрморт хорошо показывает, как модель работает с фактурами. Здесь особенно важны металл, стекло, бумага и цветы. В этом изображении лучше всего видно внимание к поверхности предметов и к их символической насыщенности.

Промпт: Jan van Eyck style, still life, silver goblet, white lilies, illuminated manuscript, crystal glass, rich textures, oil painting, sharp focus

Многофигурная сцена с движением, доспехами и торжественной атмосферой.

Здесь модель работает уже с динамикой и большим количеством элементов. Важны блеск доспехов, знамёна, облачное небо и общий ритм сцены. При этом лица не сливаются в случайные формы, что особенно важно для сложной многофигурной композиции.

Промпт: Jan van Eyck style, knight procession, shining armor, heraldic banners, cloudy sky, medieval castle, highly detailed face, realistic eyes, sharp focus

Камерная сцена с персонажем, рукописью и детализированным интерьером.

Это изображение объединяет портрет, интерьер и предметную среду. Рукопись, кабинет, вид на гавань и детали на дальнем плане делают сцену насыщенной, но не перегруженной. Хорошо видно, что лицо остаётся главным центром композиции.

Промпт: Jan van Eyck style, patron saint reading manuscript, study, harbor view, detailed ships, highly detailed face, realistic eyes, sharp focus

Спокойный пейзаж с мягким освещением и уравновешенной композицией.

Эта работа завершает серию более тихим и цельным изображением. Здесь важны глубина пространства, спокойная река, деревья, дорога и фигуры путников. Такой финал хорошо показывает, что модель способна работать не только с насыщенными сценами, но и с более сдержанными композициями.

Промпт: Jan van Eyck style, peaceful landscape, watermill, stream, travelers, flowering trees, distant hills, soft light, highly detailed

Изображения различаются по жанру, настроению и степени сложности. Одни строятся вокруг лица, другие — вокруг пространства, предметов или пейзажа. Это важно, потому что результат не сводится к повторению одной схемы. Модель показывает вариативность внутри общего визуального языка.

Отдельно стоит отметить работу с лицами. В проекте это была одна из самых уязвимых зон, поэтому в генерации использовались негативный промпт и достаточно высокое число шагов. Это помогло уменьшить число искажений и сделать лица более цельными.

Модель переняла не только внешние декоративные признаки, но и более глубокие особенности стиля. Это видно по тому, как она работает со светом, материалом, фоном и атмосферой сцены.

Stable Diffusion XL Использовалась как базовая модель для дообучения под стиль Яна ван Эйка и генерации итоговой серии изображений.

BLIP — Salesforce/blip-image-captioning-base Использовалась для автоматической генерации подписей к изображениям датасета и подготовки файла metadata.jsonl.

ChatGPT и AI в Google Search Использовались как вспомогательные инструменты для формулировки части промптов и редактуры текста проекта.

DreamBooth и LoRA как методы дообучения, а не самостоятельные генеративные модели.

В итоговой серии удалось передать мягкий свет, внимание к фактуре, реалистичную работу с лицами, насыщенную предметную среду и композиционную сложность, характерные для живописи Яна ван Эйка.

Этот результат важен не только как технический эксперимент, но и как продолжение исследования художника в новом формате. Генерация здесь выступает не заменой оригинала, а способом проверить, какие признаки стиля могут быть усвоены и воспроизведены моделью в новых сюжетах.