Идея проекта
Красный узорчаты турецкий ковер совершенна привычная для нашего глаза вещь. Такой кавер как будто был у все, так или иначе. Кто-то водил по его узорам пальцем перед сном, кто-то разглядывал его причудливую композицию свешиваясь с дивана.
Мне захотелось исследовать то как создаются эти завораживающие узоры, взаимодействуют между собой и научить нейросеть воссоздавать их.
Примеры исходные изображений
Для обучения был собран датасет из 44 изображений традиционных турецких и восточных ковров 15 — начала 19 века.
Источники:
Metropolitan Museum of Art. Музей предоставляет открытый доступ к изображениям из своей коллекции под лицензией CC0 (общественное достояние). Это ковры XV–XIX веков из Анатолии, Кавказа и Персии.
Victoria and Albert Museum. Использованы в соответствии с некоммерческой образовательной лицензией музея. В коллекции представлены турецкие и кавказские ковры XVIII–XIX веков.
Процесс обучения
Для дообучения модели под стиль турецких ковров был выбран метод DreamBooth с LoRA (Low-Rank Adaptation) на базе Stable Diffusion XL (SDXL).
Автоматическая генерация описаний (капшенизация) Для каждого изображения были автоматически сгенерированы текстовые описания с помощью модели BLIP (Bootstrapping Language-Image Pre-training) от Salesforce. Модель должна понимать, что именно изображено на картинке.
Запуск обучения
Серия изображений
Для генерации финальной серии использовались промпты, активирующие специальный токен TURKISH_CARPET, который модель запомнила в процессе обучения. Варьируя описания, я проверял, насколько гибко нейросеть управляет композицией, насыщенностью и детализацией узоров.
Простой промт даёт достаточно классические композиции ковров — с центральным медальоном и раппортом по краям, со сложными орнаментами, напоминающими оригинал. Модель уверенно воспроизводит многослойную структуру: центральное поле, главный бордюр, второстепенные каймы.
Промты: TURKISH_CARPET style handmade rug with central medallion, traditional motifs, red-blue TURKISH_CARPET style Persian rug with floral motifs, blue and gold colors
Промт: TURKISH_CARPET style handmade rug with central medallion, traditional motifs
Промты: TURKISH_CARPET style vintage kilim rug with symmetrical patterns, warm colors TURKISH_CARPET style handmade rug with central medallion, traditional motifs
Промтом можно менять композицию ковров, делая её без центрального медальона. Модель сгенерировала плоский безворсовый ковёр с симметричным раппортным узором, где акцент смещён на повторяющиеся геометрические фигуры или вовсе абстрактные узоры.
С помощью промта можно редактировать насыщенность ковров. Приведенный ниже выглядит более современно за счет ярких цветов, немного по детски и синтетически.
Промт: TURKISH_CARPET style bright oriental rug, red blue yellow colors, bold geometric patterns, high detail
Коментарий
В результате нейросеть освоила главное: цветовую гамму (все сгенерированные ковры сохраняют насыщенный красный фон с акцентными оттенками синего, слоновой кости и золотистого), геометрическую структуру (узоры строятся на восьмиугольниках, ромбах, звёздах и зигзагах с характерной плотностью орнамента), композиционные схемы (от центрального медальона до раппортного узора). Изображения выглядят именно как тканые ковры, с лёгкой неидеальностью линий, которая всегда отличает ручную работу от машинной и ещё кажутся мягкими ворсистыми как подобает ковру.
Проект показал, что традиционные турецкие ковры — отличный объект для обучения генеративных нейросетей. Геометрическая структура, повторяемость элементов и чёткая цветовая схема легко усваиваются моделью даже на относительно небольшом датасете.
Получилась своего рода продолжение традиции. Нейросеть, обученная на старых коврах из музейных коллекций, теперь способна предлагать новые узоры, которые могли бы появиться. И, немного отдает ностальгией по детству, когда ковры ещё так часто висели на стенах.
Используемые генеративные модели
BLIP (Bootstrapping Language-Image Pre-training) — Ссылка: https://huggingface.co/Salesforce/blip-image-captioning-base — Описание обучающих изображений
Dreambooth + LoRA методик — Дообучение модели под необходимый стиль
