Проект текстуры «Яма» создан для начального обучения нейросети Stable Diffusion в создании текстур по моим иллюстрациям.
Концепция
Когда я переживал сильный стресс и чувствовал подавленность, я рисовал. Рисунки стали для меня способом выразить мысли и чувства, когда слов не хватало. В них я старался передать переживания и эмоции, которые не мог выразить словами.
В рамках учебного проекта я решил обучить нейросеть генерировать материалы, основанных на моих рисунках. Обычно референсы материалов недооценивают и небрежно включают в мудборды. Моя цель — использовать нейросеть для получения таких референсов в едином стиле, что упростит их поиск.
Адыканов Алтынбек «Мысль», «Автопортрет» и «Найти слово», 2024
Я намерен задействовать эти материалы в своем дипломном проекте. Сейчас я нахожусь на стадии разработки сценария, и рассчитываю, что дообучения нейросеть предоставит мне визуальные подсказки для проекта.
С синопсисом можно ознакомится по ссылке.
Адыканов Алтынбек «Бездарность» и «Форма эмоции», 2024
Цель заключается в том, чтобы обучить модель Stable Diffusion создавать абстрактные произведения, имитировать традиционные художественные материалы, например, сухую пастель.
Генерации локации
Сгенерированный концепт локации
Мой будущий диплом посвящен персонажу, который живет в «бессознательном». Это место — гигантская яма, стены которой плотно забиты экранами. Здесь нет жизни, только холодные материалы.
Несмотря на то, что яма сделана из твердых материалов, сами материалы в ней — текучие и смазанные. Мои иллюстрации, нарисованные на пороге нервного срыва, станут идеальным «первоисточником». Их нервная, смазанная эстетика поможет передать это пограничное состояние реальности.
Генерации концепта персонажа
Я также попытался создать персонажа для будущего проекта.
Краткое описание: персонаж объединяет органическое тело и монолитную неорганическую голову. Это символизирует стремление человеческого разума структурировать хаос эмоций через строгие логические схемы.
Текстуры металла
Сгенерированные текстуры металла
Нейросеть успешно воспроизводит мой стиль рисования, идеально подходящий для изображения пространства бессознательного.
На центральной части текстуры гармонично сочетаются хаотичные мазки и размытые следы от прикосновений руки и пальцев. Слева на изображениях заметны эффектные разрывы бумаги и коллажный метод, а справа — резкие, драматические разломы, контрастирующие с мягкими угольными мазками на размытом фоне.
Сгенерированные текстуры ржавого металла
Нейросеть точно воспроизвела мою манеру работы с цветом, основанную на контрастах и многослойности пигмента. Это отличный инструмент для имитации традиционных материалов, который при этом сохраняет мою уникальную авторскую стилистику.
Текстуры камня
Сгенерированные текстуры камня
В варианте по центру привлекает её чёткие грани и строгая форма, который создаст идеальный контраст с более мягким текстурами металла, представленных ранее. Размытые следы от прикосновений руки практически исчезли, но всё же имеют размазанные детали по краям.
Слева на изображениях видны глубокие вертикальные трещины, создающие интересный эффект камня или скалы и добавляющие больше визуальных акцентов.
Вариант слева представляет собой нечто среднее между строгим брутализмом центральной текстуры и массивностью варианта справа.
Сгенерированные текстуры камня
Также я создал версию с другой цветовой гаммой, чтобы увидеть, как может выглядеть текстура камня в другом исполнении. Мне импонирует в этом варианте, как нейросеть поработала с оттенками и разнообразием мазков.
Текстуры кожи
Яма холодное пространство наполненное искусственным светом из мониторов, но даже там есть живое существо, единственное во всём бесконечном туннеле.
Пока я полностью не определился с дизайном персонажа, поэтому исследую различные концепции для его органической составляющей.
Сгенерированные текстуры плоти
Сгенерированные текстуры кожи
Текстуры бумаги
Я также попытался создать другие материалы, которые могли бы пригодиться для будущего дипломного проекта.
Текстура картона
Текстура картона вышла слишком реалистичной, что не соответствует моему стилю. Однако мне импонирует, как нейросеть создаёт разнообразные узоры для такого скучного материала, как картон.
Текстура бумаги
Материал бумаги оказался весьма занимательным и многообразным. Особенно выделяется средний вариант. Он не напоминает обычную бумагу, а лишь вызывает ассоциации с ней. Однако именно это создает впечатление, что подобный вид бумаги мог бы существовать в бессознательном мире.
Текстура травы
Я создал несколько природных материалов и был впечатлён текстурами травы и дерева. Вероятно, я не буду применять их в будущем проекте, но сохраню в памяти как идеи для будущих работ.
Текстура травы
Текстура дерева
Ход работы
Для обучения нейросети я взял 10 иллюстрации. Предварительно было необходимо привести все изображения к разрешению 1024×1024.
Фрагмент кода
На первом этапе выполнялась проверка графического процессора и установка необходимых зависимостей. Затем создавалась локальная директория для хранения изображений, после чего они загружались на платформу Google Colab.
Фрагмент кода
Затем модель BLIP была использована для генерации описаний изображений с префиксом «texture in INF_pictures style», что впоследствии стало основой для её обучения.
Фрагмент кода
Запускается обучение модели с применением LoRA. Весь процесс обучения при заданных настройках продолжался около полутора часов.
Фрагмент кода
После завершения обучения модель сохраняется и размещается на платформе Hugging Face Hub, откуда её можно скачать и использовать для генерации изображений.
Фрагмент кода
Варианты, которые не удалось реализовать
Нейросеть создала интересные текстуры. Однако они не подходят для моих целей.
Варианты, которые не удалось реализовать
Я захотел создать людей с помощью нейросети. Мне импонирует, как она воспроизводит текстуру сухой пастели. Однако эти результаты не соответствуют моей задумке.
Заключение
Работа над проектом «Яма» показала, что нейросеть может стать полезным инструментом на этапе визуального поиска, при этом сохраняя мою уникальную авторскую манеру. Мне удалось точно воспроизвести текстуру «аналоговых» материалов, таких как сухая пастель и уголь, и передать нервную динамику оригинальных рисунков. Однако следует отметить, что искусственный интеллект пока не достиг уровня полноценного соавтора.
На текущем этапе технология особенно полезна для предпродакшена: она создаёт интересные визуальные находки, аномалии и свежие референсы, которые помогают обогатить общую концепцию. Тем не менее эти материалы пока не подходят для прямого использования в продакшне. Основная проблема заключается в технических ограничениях: из этих генераций невозможно создать полноценную бесшовную текстуру, готовую для интеграции в 3D.
Таким образом, нейросеть на данный момент является для меня мощным генератором идей и пограничных состояний, который создаёт основу для моего дипломного проекта, но финальную техническую реализацию оставляю за человеком.
Исходный код
На Яндекс Диске есть два файла. Первый содержит материалы для обучения. Второй файл включает в себя процесс подключения обученной модели с использованием Hugging Face и создание последующих изображений.
Описание применения генеративной модели
Для обучения и создания изображений применялась модель Stable Diffusion. Идеи и формулировки большинства промптов создавались с использованием Gemini. В процессе разработки кода для повторной загрузки уже обученной модели с Hugging Face была задействована помощь Gemini.