Идея проекта
Цель проекта — обучить нейронную сеть воспроизводить мой стиль рисования (цветовая палитра, линии, динамика/статика, задумка и тд). Также генерировать изображения конкретного персонажа с сохранением его ключевых черт (форма глаз, причёска, костюм, поза и т. д.) на основе ограниченного набора исходных изображений. В общем акцент на узнаваемости стиля или персонажа.
Исходные данные для обучения
Для исходных данных были использованы лично мной разработанные игровые карты. Всего использовано 38 изображений. Эти же карты в формате 1:1 приложены по ссылке на гугл диск в конце исследования.
Исходник
Исходник
Исходник
Исходник
Результирующая серия изображений
Промты:
zarynth style, neon demon queen with horns, sharp teeth, glowing purple and green colors, bold graphic illustration, high contrast
zarynth style playing card design, symmetrical character, bold shapes, psychedelic neon colors, high contrast
zarynth style portrait, character breaking frame, bold shadows, neon purple background, graphic illustration
zarynth style creature emerging from darkness, sharp shapes, neon glow, high contrast lighting, graphic illustration
zarynth style, neon demon priest, elongated face, glowing eyes, sharp graphic shadows, purple and acid green palette
zarynth style, masked creature with horns, symmetrical face, high contrast neon lighting, bold shapes
zarynth style poster design, surreal character, bold typography space, neon glow, graphic composition
zarynth style tarot card, mystical character, centered layout, decorative frame, neon purple and green, high contrast
zarynth style playing card, mirrored character design, symmetrical composition, sharp neon accents
zarynth style playing card, mirrored character design, symmetrical composition, sharp neon accents
zarynth style character breaking through frame, shards flying, neon energy, dynamic composition
zarynth style explosion of neon shapes forming a character, sharp edges, graphic chaos
zarynth style shadow demon, barely visible form, glowing eyes, deep black background, neon highlights
zarynth style abstract mask, clean composition, glowing purple and green lines
zarynth style experimental character design, bold composition, neon textures, graphic illustration
zarynth style tarot card, neon demon queen, symmetrical composition, ornate frame, glowing purple and green, ultra high contrast, sharp graphic shapes
zarynth style avant-garde creature, asymmetrical face, glowing accents, surreal design
Соответствие идее
Исходный рисунок задает тон: ярко выраженным антропоморфным существом, обладающим гипертрофированными чертами. Нейросеть успешно подхватила эту канву, создав вариацию, которая выглядит как альтернативная карта из той же колоды (условно обозначенная символами).
Элементы стиля и характеристики персонажей
В оригинале подчеркнуты гротескность: огромные головы, острые «звездные» глаза и текстурный цвета. Стиль характеризуется жесткими контурами и ярким цветовым контрастом. Нейросеть переработала эти элементы в более хаотичную, «осколочную» манеру. Особенности персонажа — острые конечности, многорукость и искаженные пропорции лица — сохранились, но приобрели иную динамику. Здесь акцент сместился с четких цветовых блоков на текстурную сложность: персонаж кажется собранным, что придает ему более агрессивный и мистический вид.
Детали генерации и обработка данных
При анализе видно, что нейросеть использовала метод переноса стиля и структурного анализа исходного изображения. Алгоритм распознал ключевые маркеры:
- Центральное расположение фигуры.
- Символы мастей и цифры по углам (хотя нейросеть интерпретировала их по-своему, превратив «10» в абстрактные «76». Или же переделала их под какой-то рисунок. А в некоторых вообще убрала).
- Белая обводка вокруг персонажа является прямой отсылкой к стилистике оригинала, помогая отделить сложную фигуру от однотонного серого фона.
Нейросеть обработала запрос так, чтобы сохранить концепцию «монстра на карте», но добавила детализацию в виде рваных краев и градиентных пятен, что характерно для современных моделей генерации при работе с абстрактным искусством.
Визуальный анализ и вариации
Изображения существенно отличаются по цветовой психологии, но едины по форме:
- В оригинале используется комплементарные цвета (зеленый и фиолетовый, красный и розовой, голубой и белый, черный и красный) для создания эффекта токсичности и фантастичности. Нейросеть же переходит к классическому драматическому сочетанию цветов.
- Если в оригинале линии более плавные и широкие, то результат нейросети — это торжество острых углов и фрактальных разрывов.
- Нейросеть «раздробила» цельные формы оригинала, создав эффект множественности деталей там, где в исходнике были заливки (например, в области головы и рук).
Итоговый результат полностью соответствует духу проекта — созданию серии мистических сущностей, где каждая карта обладает своим характером, но вписывается в общую деконструированную стилистику. Правда с небольшими дефектами.
Описание применения генеративной модели
Обучение запускалось через скрипт DreamBooth LoRA для SDXL из библиотеки Diffusers с использованием Accelerate. В качестве базовой модели использовалась stabilityai/stable-diffusion-xl-base-1.0, а также подключалась исправленная версия VAE — madebyollin/sdxl-vae-fp16-fix.
В проекте были заданы следующие основные параметры обучения:
— Размер датасета: 38 изображений — Количество шагов обучения: 500 — Разрешение изображений: 512×512 пикселей — Размер батча: 1 — Gradient accumulation: 3 шага — Learning rate: 1e-4 — Precision: fp16 — Оптимизатор: 8-bit Adam — Checkpointing: каждые 250 шагов — Seed: 0
