Идея
Этот проект — попытка разобраться, как генеративные модели работают с авторским стилем и насколько ими можно управлять.
Я поставила перед собой одну основную задачу: обучить нейросеть на своих изображениях и проверить, насколько точно она может генерировать картинки по заданным запросам.
Архив
Я использовала 26 собственных картин, формат — портреты.
Для упрощения обучения модели формат был един, без лишнего разнообразия.
Процесс обучения модели
Сначала изображения были загружены в рабочую папку в Google Colab.
Далее для каждого изображения автоматически создавались текстовые описания с помощью модели BLIP.
После этого началось обучение модели. Я использовала Stable Diffusion XL с настройкой через DreamBooth и LoRA. Обучение запускалось через специальный скрипт.
Параметры были подобраны так, чтобы модель могла обучиться даже при ограниченных ресурсах Colab и при этом давала стабильный результат.
После завершения обучения полученные веса подключались обратно к базовой модели через библиотеку Diffusers — это позволяло использовать обученный стиль при генерации новых изображений.
Проект показал, что нейросеть можно обучить авторскому стилю даже основываясь на небольших загружаемых данных. Комбинация из нескольких нейросетей позволила генерировать новые изображения с заданными характеристиками, демонстрируя управляемость модели и её потенциал для авторской визуальной работы.
Было притяно видеть, как обыденные черты в авторских работах виднеются и в генерациях ИИ.
Допускается неточность передачи, но при этом сохраняются схожие черты: вытянутое лицо, длинный характерный нос, глаза.
Генерации
Messenka Jan portrait, mysterious figure, blue cloak
Messenka Jan portrait, pale woman, dark bob
Messenka Jan portrait, pale woman, short black hair, strawberry vest
Messenka Jan portrait, thin man, vest, orange tie
Messenka Jan portrait, tired man, yellow eyes
Messenka Jan portrait, woman, long braid, folk dress
Messenka Jan portrait, freckled boy, red hoodie
Messenka Jan portrait, curly girl, round glasses
Использование генеративной модели в проекте
Stable Diffusion XL (SDXL) — генерация изображений и база модели https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
LoRA — обучение модели моему стилю https://huggingface.co/docs/diffusers/training/lora
DreamBooth — настройка модели на моём датасете https://huggingface.co/docs/diffusers/training/dreambooth
YandexGPT — создание и расширение промптов https://yandex.cloud/ru/services/yandexgpt
