описание идеи всего проекта
Проект посвящён исследованию возможности переноса авторского графического стиля в генеративную нейросеть.
В своих иллюстрациях я работаю с темами: — трансформации тела — гибридности (человек / животное / объект) — органических и псевдо-анатомических структур — тревожной, сюрреалистической эстетики
Цель проекта — обучить модель Stable Diffusion воспроизводить не просто визуальные элементы (штриховку, композицию), а сам принцип формирования образа: соединение несовместимых форм в единую систему.
исходные изображения для обучения
Для обучения был собран датасет из 13 изображений — это авторские иллюстрации, выполненные в едином графическом стиле.
Характеристики датасета: формат: квадрат (1:1) техника: черно-белая графика визуальные особенности: — точечная штриховка (stippling) — контурная линия разной толщины — высокая детализация — органические текстуры сюжетные особенности: — гибридные существа — деформированные тела — сочетание живого и неживого — замкнутые композиции
Важно: датасет не содержит чужих изображений — только авторские работы, что делает обучение корректным с точки зрения авторства.
результирующая серия изображений
комментарий
Итоговая серия представляет собой вариации гибридных существ, сгенерированных на основе авторского графического стиля. Изображения не повторяют исходные работы, а переосмысляют их, сохраняя принципы построения формы и композиции.
Серия продолжает исследование темы трансформации тела и гибридности. Образы находятся между человеком, животным и объектом, отражая идею нестабильности формы и размытых границ между категориями.
Что удалось передать: — характерную точечную штриховку — плотность и насыщенность композиции — биоморфные формы — принцип гибридизации (слияние объектов и тел)
Частично удалось: — анатомическую логику (иногда формы становятся слишком абстрактными) — контроль пропорций
Не всегда стабильно: — мелкие детали (иногда «расплываются») — повторяемость конкретных мотивов
Для генерации использовались текстовые промпты, описывающие стиль и содержание.
Сгенерированные изображения отличаются: — степенью «органичности» (от почти анатомических до полностью абстрактных) — плотностью деталей — балансом пустого и заполненного пространства — уровнем «тревожности» образа
Интересный эффект: нейросеть не копирует конкретные изображения, а пересобирает язык формы, создавая новые комбинации элементов.
Вывод: Серия демонстрирует, что нейросеть способна воспроизводить не только внешний вид, но и принципы авторского стиля, создавая новые визуальные интерпретации.
код
В процессе работы над проектом я протестировала два аналитических подхода к обучению нейросети, чтобы добиться максимального соответствия моему визуальному стилю.
Сначала я использовала официальный пайплайн для Fine-tuning SDXL. Этот метод хорош тем, что содержит в себе автоматизированные скрипты для визуализации датасета и подготовки среды «в один клик». Однако в процессе я столкнулась с избыточностью кода и сложностью тонкой настройки под специфическую графику.
Затем я решила собрать собственный алгоритм обучения на базе библиотек diffusers и accelerate.
Это позволило мне:
Оптимизировать память: Я внедрила использование 8-битного оптимизатора Adam и Gradient Checkpointing, что позволило запустить обучение SDXL на бесплатном GPU без ошибок.
Повысить контроль: Я вручную настроила параметры разрешения (512px) и темпа обучения (learning rate 1e-4), чтобы сохранить четкость штриховки в моих работах.
Гибкая генерация: Итоговый код позволил мне быстрее тестировать промпты на стыке сюрреализма и привычных объектов.
заключение
Проект показывает, что генеративные модели способны: — усваивать не только визуальные признаки, но и структурные принципы стиля — создавать новые образы в рамках заданной эстетики — выступать как инструмент расширения авторского языка
При этом результат требует кураторской работы — отбора, настройки и интерпретации.
описание применения генеративной модели
В проекте использовались: ChatGPT — для формулировки текстов и помощи в анализе
