Идея проекта
Мне захотелось обучить генеративную нейросеть Stable Diffusion своему художественному стилю для генерации новых дизайнов персонажей с различными костюмами. Для этого я собрала датасет со своими редизайнами персонажей Monster High
Основная цель моего проекта — узнать, сможет ли нейросеть повторить мой стиль, а возможно и улучшить мои идеи
Monster High — Американская серия фешн-кукол созданная Гарретом Сэндером и проиллюстрированная Келли Райли. Официальный релиз состоялся в июле 2010 года. Также позже были выпущены видеоигра Monster High: Ghoul Spirit, мультсериал и серия фильмов
Исходные изображения персонажей
Примеры из библиотеки
Обучение
Мною был собран датасет из квадратных изображений, которые являются моими собственными артами редизайнами персонажей из вселенной Monster High. Все они выполнены в одном стиле. Цель проекта заключалась именно в том, чтобы нейросеть смогла попасть в мой стиль, соблюсти цветовую гамму и правильно изображала телосложение персонажей
Использованные в проекте программы:
Stable Diffusion — для обучения генеративной нейросети под свой стиль Google Colab — для выполнения кода и генераций Hugging Face — для получения токена для обучения нейросети и загрузки полученной модели на сайт Adobe Photoshop — для создания коллажей из готовых работ
Для начала нужно было загрузить все необходимые библиотеки, а потом загрузить изображения с компьютера в Google Colab, через специальную встроенную функцию в Google Colab
фрагменты кода
Далее был создан токен через Hugging Face, происходила настройка и вставка его в код
Приближаясь к тренировке я выбрала разрешение 512, выставила максимальный шаг тренинга на 800, а чекпоинт установила на 250, так тренировка нейросети заняла всего час
После сохранения модели на Hugging Face я приступила к генерации картинок
Первая генерация
Первая пробная генерация получилась неудачной, но все же прослеживаются схожие с оригиналом черты лица
1. In the style of VALTERMARG, portrait of a girl 2. In the style of VALTERMARG, a pale gothic girl 3. In the style of VALTERMARG, a stylized female character
Портреты получались заметно лучше, чем персонажи в полный рост
In the style of VALTERMARG, pale gothic girl, portrait, dark aesthetic, detailed face, fashion illustration, high quality
Однако нейросеть хорошо считала пропорции и нужные силуэты тел, а также разнообразные текстуры и формы костюмов
In the style of VALTERMARG, a fashion girl
In the style of VALTERMARG, dark fantasy werewolf girl, lilac hair, yellow eyes, fangs, punk fashion outfit, confident pose, fashion illustration, clean line art, high detai
Я также поэкспериментировала с промптами
Без упоминания в промпте моего стиля получался более хаотичный по настроению персонаж, после упоминания стиля картинка стала более стилизованой
1. без упоминания моего стиля 2. после упоминания стиля
Подробный промпт: In the style of VALTERMARG, 2d-style character illustration, dark fantasy aesthetic. A skinny werewolf girl with gray skin, sharp gray cat ears pierced with silver rings, and long wavy lilac-purple hair matching her eyebrows and lashes. Her eyes are striking yellow with yellow sclera; she has lilac lips with prominent white fangs. Outfit: olive green fur jacket over a black ripped tank top, dark green mini skirt with belt straps, and chunky platform boots adorned with multiple buckles and straps. Dynamic pose, standing confidently with a slight smirk. Lighting: dramatic low-angle rim light, moody atmosphere. Background: striped light gray with subtle gradient, creating a punk-fashion editorial vibe. Clean line art, vibrant pastel accents, high detail, character sheet style
Итоговые генерации
