Обучение генеративной нейросети в стиле Ван Гога
Идея проекта
Я обучила нейросеть генерировать изображения в стиле Ван Гога, потому что хотела показать, как этот художник мог бы жить во времена СССР. Представим, что серия изображений — это его зарисовки. Всё, что окружало художника, он зарисовывал в своем личном дневнике, поэтому среди изображений есть как его квартира, так и окружающая среда на улице. Всё наполнено атмосферой того времени, но в стиле позднего Ван Гога, поскольку именно этот период является самым запоминающимся в его творчестве. Для обучения было использовано 35 картин.
Ниже представлено несколько исходных изображений, для которых характерны мазки краски и определенные цветовые решения:
Серия изображений
Для начала я решила сгенерировать изображение самого художника, и получилось очень похоже на его оригинальные автопортреты. Этот мужчина похож на самого Ван Гога, фон характерен для этого художника. Промт: «photo collage in VANGOG style, portrait of a man with a red beard and blue eyes in a Russian ushanka hat»
Дальше представила варианты того, как могло бы выглядеть его утро. Он завтракает на кухне с женой, в этих изображениях сохранился характерный для Ван Гога стиль рисования с волнистыми контурами. Данные изображения удалось сгенерировать с первого раза, особенно точно в стилистику попала одежда женщины.
Первое изображение — кухня. Мазки от краски не ярко выражены, но удалось передать неровные плавные контуры, особенно у ноже стола. Также цветовая гамма соответствует стилистике проекта. Промт: «photo collage in VANGOG style, a round dining table in the center of the kitchen with food, chairs around it, a window in the background with the sun shining through»
Второе изображение — сам процесс завтрака, женщина получилась очень характерной для стиля Ван Гога. Ткань, цвет платья и выражение её лица, а также способ рисовки хлеба на столе очень удачны. Промт: «photo collage in VANGOG style, a woman in a headscarf sits at a round dining table, she breaks a piece of bread, in the background is a window and sunlight»
Дальше герой идёт на завод. На следующих картинах изображены его коллеги и дорога до завода.
На этом изображении хорошо получился пейзаж, потому что модель обучалась в основном на картинах природы Ван Гога. Промт: «photo collage in VANGOG style, a white bus with yellow stripes is driving along the road, people are looking out of the window»
Толпа людей идет на завод. Промт: «photo collage in VANGOG style, Russian men go to the factory in the USSR»
Все эти мужчины очень похожи на автопортреты Ван Гога. Промт: «photo collage in VANGOG style, a man with a red beard and blue eyes in a Russian ushanka hat»
Затем он возвращается домой, встречая пионера и заходя на бокс и рынок.
На этом изображении видно мазки краски, которые я хотела передать при обучении модели, а также деревья и небо снова хорошо попали в стилистику. Здания, наоборот, не удалось сгенерировать в советском стиле, потому что Ван Гог не рисовал ничего похожего на панельки… Промт: «photo collage in VANGOG style, one pioneer with red scarves on his neck, with a school bag, runs down the street, in the background is a gray house, it’s sunny around, trees are growing»
Здесь идеально получилось все, кроме третьей руки. Стиль Ван Гог и советский хорошо сочетаются. Промт: «photo collage in VANGOG style, a man in a blue tracksuit punching a punching bag in a Soviet gym, with large windows with sunlight and walls in the background»
Промт: «photo collage in VANGOG style, a stall with products at the market, a woman in a headscarf stands behind the stall, there is a canopy over the stall to protect it from the rain, a man with a bag is choosing something»
Промт: «photo collage in VANGOG style, street with panel gray five-story houses in the soviet union, pedestrian road past them, sunset, no people»
В конце дня он отдыхает за чтением газеты в своей квартире.
Стулья и фон хорошо попали в стиль. Капуста также соответствует желаемому результату, но немного расплылась. Промт: «photo collage in VANGOG style, a string bag with groceries on a chair in an old apartment»
В этом изображении удачно получились только обои и цветовая палитра, в остальном стиль Ван Гога не очень считывается. Промт: «photo collage in VANGOG style, a man sits on a sofa in a room and reads a newspaper, in the background is a wall, next to it is an old TV with a small screen, in the background is a window with sunlight and curtains»
Промт: «photo collage in VANGOG style, shelf with children’s toys, plush teddy bear, tumbler doll, ball on wooden shelf»
Здесь удалось передать волнистые контуры и мазки, очень удачная генерация, хорошо попадает в стилистику. Промт: «photo collage in VANGOG style, a room with an old TV, a program is on TV»
Также он делает зарисовку для плаката.
Лица получаются характерные для стиля Ван Гога, поскольку они похожи на те портреты художника, которые я использовала при обучении. Промт: «photo collage in VANGOG style, motivational soviet poster with red background, woman in white headscarf raising one hand and calling people to work»
Вывод
Удачнее всего получились генерации с природой. Ван Гог рисовал в основном пейзажи, на которых было много деревьев и неба, поэтому эти детали в картинах получились наиболее удачно. То же самое можно сказать о портретах. Особенно мужских — они очень похожи на автопортреты самого художника. Все особенности персонажа с портретов сохранены. Цветовая гамма также соответсвует заявленному стилю, но на части изображений преобладает зелёный оттенок, хотя на тех картинах, на которых модель обучалась, не было подобного эффекта. На некоторых изображениях требовалось дополнительно писать об освещении, и тогда эта проблема исчезала. Также стиль мазков удалось передать не на всех изображениях. Если говорить точнее, не на всех объектах. Лучше всего нарисованы те вещи, которые присутствовали на картинах Ван Гога — это ткань, обои и некоторые элементы мебели. В целом стилистику удалось сохранить от изображения к изображению.
Ноутбук с кодом
Файл с изображениями для обучения: https://drive.google.com/drive/folders/1HETWKkV-ZlF0K9k0StClcd0IoXKcLxMB?usp=sharing
Описание применения генеративной модели
В этом проекта были использованы следующие генеративные модели: Stable Diffusion XL (SDXL) with DreamBooth и LoRA on a T4 GPU с целью обучения нейросети созданию генераций в стиле Ван Гога. Ссылки: Stable Diffusion XL (SDXL: https://www.google.com/url?q=https%3A%2F%2Fhuggingface.co%2Fdocs%2Fdiffusers%2Fmain%2Fen%2Fapi%2Fpipelines%2Fstable_diffusion%2Fstable_diffusion_xl DreamBooth: https://www.google.com/url?q=https%3A%2F%2Fhuggingface.co%2Fdocs%2Fdiffusers%2Fmain%2Fen%2Ftraining%2Fdreambooth LoRA: https://www.google.com/url?q=https%3A%2F%2Fhuggingface.co%2Fdocs%2Fdiffusers%2Fmain%2Fen%2Ftraining%2Flora
