Идея проекта
В этом проекте я обучала нейросеть Stable Diffusion генерировать изображения в стиле, вдохновлённом живописью Ван Гога. Мне было интересно проверить, сможет ли модель перенести характерные черты его работ на новые сюжеты.
Исходные изображения
Для обучения я собрала набор изображений с картинами Ван Гога. Я подбирала работы, где хорошо заметны особенности его живописи: активный мазок, контрастные цвета, выразительная фактура, пейзажи, интерьеры и цветочные композиции. Все изображения были приведены к квадратному формату.
Легитимность использования изображений
В проекте использовались только легальные изображения произведений Винсента ван Гога из официальных музейных источников с открыто опубликованными условиями использования. Изображения из коллекции Van Gogh Museum могут бесплатно использоваться в некоммерческих целях, включая research, private study и внутреннее использование в образовательных учреждениях. Кроме того, изображения public-domain произведений из Open Access коллекции The Met публикуются по лицензии CC0, которая разрешает свободное использование, переработку и повторное распространение без дополнительных ограничений. Поэтому использованный в проекте визуальный материал является легитимным с точки зрения заявленных условий лицензирования официальных источников.
Обучение
На первом этапе был подготовлен датасет для обучения. В него вошли квадратные изображения хорошего качества, подобранные из официальных музейных источников. Все изображения были приведены к единому формату 1:1.
Для реализации проекта в качестве основы был использован ноутбук для обучения Stable Diffusion XL DreamBooth LoRA. В работе использовался подход
LoRA, то есть модель не переобучалась полностью, а дообучалась на выбранном наборе изображений.
Основная проблема была с настройкой гиперпараметров, нужно было подобрать подходящие так, чтобы модель научилась рисовать в похожем стиле, но при этом сохранить сложность и память мощностей Colab.
Во время обучения модель постепенно выделяла общие черты картин: активные мазки, цветовые сочетания, характерную фактуру и общее настроение. Благодаря этому потом стало возможно генерировать новые изображения, в которых сохраняется узнаваемая художественная манера.
Итоговая серия
После обучения модели я сгенерировала серию новых изображений: городские сцены, ночные виды, интерьер, цветы и портреты. Эти изображения не повторяют конкретные картины, а создают новые сцены в похожей художественной манере.
Комментарий к серии
В итоговых изображениях хорошо передались основные признаки выбранного стиля: волнообразные мазки, насыщенные жёлтые и синие оттенки, ощущение движения и эмоциональной выразительности. Лучше всего модель справилась с ночными сценами и пейзажами, где особенно заметна работа с цветом и светом. В некоторых изображениях формы стали более условными и декоративными, но это тоже соответствует живописному характеру проекта. В результате получилась серия работ, объединённых общей визуальной логикой, но различающихся по сюжету и настроению.
