Концепция
Я настроила генеративную нейросеть под свой стиль иллюстраций, который я использую в традиционной технике работы. В первую очередь задача усложнялась тем, чтобы обучить ИИ воспроизводить эффект традиционных материалов, в моем случае акварели и туши.
Хотелось попасть не только в стиль, но и в настроение, поэтому промпты я использовала соответствующие: чтобы отсылали к работе с натуры и пленэру.
Серия изображений
В качестве референса для нейросети я использовала свой зин, заключающий в себе 19 изображений вертикального формата.
Обучая нейросеть, я обрезала их под квадрат, разрешение 1024 пикселей
Тренировка модели
Для обучения модели я использовала приложенный шаблон Stable Diffusion. Первым делом я собрала все изображения в датасет и загрузила их в код.
Затем я описала назначения загруженных изображений и процесса создания метаданных с помощью BLIP-титрования для привязки стиля к токену 'art in MY style'.
Модель была обучена на 500 шагах
Результат
Ключевое триггер-слово для промта: art in MY style.
Изображения охватывают разнообразные сюжеты — от иллюстративных пейзажей до фигур людей и портретов, — демонстрируя, что нейросеть освоила разные мотивы в заданном стиле без отклонений
Финальная серия включает иллюстрации, созданные нейросетью после дообучения модели LoRA (Low-Rank Adaptation) на моих пользовательских данных. Первые работы в ней менее удачные чем последующие, но они задали темп.
Ниже под картинками представлены примеры промтов, использованные для генерации.
«art in MY style, a beautiful decorative forest and trees, black and white graphic, high detail»
Серию пейзажных иллюстраций считаю одной из лучших. В них наиболее близко к оригиналу передана работа кистью с пятном, а также выстроена похожая композиция
«art in MY style, The illustration is black and white: the bedroom door is slightly open, the room is dark inside, but the outlines of objects are visible in bright white spots, all in the effect of ink and watercolor»
«art in MY style, The illustration is black and white: a brick building, abandoned from the outside, the bricks are drawn in ink, but the outlines of the windows are visible in bright white spots, all in the effect of ink and watercolor»
Но вот эти изображения мне особенно понравились. Похоже, нейросеть смогла наконец уловить суть исходников, не делая портреты слишком реалистичными, а сохраняя графичность, что была в референсах
«art in MY style, The illustration is black and white: many different figures, as if the artist were sketching, people in different poses from the back, front, and side, the bodies are drawn»
Они имеют текстуру из оригинальных изображений, а также тона и контрасты, достигнутые нейросетью самостоятельно — без постобработки
«art in MY style, The illustration is done in black and white: an incomprehensible landscape, as if an artist were making a sketch, ONLY with watercolors, everything looks as if it was drawn with ink»
Генеративные модели
— SDXL: диффузионная модель для создания изображений.
— DreamBooth: метод глубокого обучения для генерации изображений.
— LoRA: техника тонкой настройки больших языковых моделей и других глубоких нейронных сетей.
