Ida Universe
Описание идеи
За основу проекта я взял датасет из картин современной абстрактной художницы Иды Экблад, так как мне было интересно посмотреть на то, как они изменят простые сюжеты в процессе генерирования.
Подобную работу я выполнял впервые, поэтому в качестве эксперимента я решил не собирать огромную базу данных и начать с малого.
Сразу после установки всего необходимого я выгрузил свои картинки-референсы в среду, в которой работаю.
Проверив, что изображения открываются, я импортировал модель и создал изображениям заголовки.
После всего я обратился к папке с изображениями и сгенерировал префиксы. Так у каждого моего изображения появился промт.
Для следующего шага я зарегистрировался на сайте Hugging Face и получил токен. Затем внес его в Colab и таким образом начал обучение нейросети.
Процесс обучения занял 30-40 минут. Благодаря этому получилось сформировать итоговую обученную модель, которую я использую для генерации новых изображений по промту на основе стиля выгруженных мной картинок.
Также я задал параметры выхода на директорий, сохранил в репозиторий и использовал эту модель.
Последний этап — ввод своих промтов.
Финальная серия изображений
Для начала теста я взял Нью-Йорк, как одно из самых популярных мест на планете, мне было интересно посмотреть на результаты и они, как мне кажется, получились отличными. Я два раза вводил один и тот же промт, при этом картинки получились разными, первая совсем как картины Иды, вторая больше схожа с реальностью, но также имеет черты ее искусства.
Вторым промтом я взял город Париж, как мое самое любимое место. Здесь получился коллаж в стиле Иды, но с явными элементами реальности, что однако не исключает сюрреалистичности результата.
На последние два варианта я решил поиграться с образами, которые могли бы конкретно подойти под живопись Иды. Первым промтом я выбрал человека, находящегося в космосе на космическом корабле в компании пришельца, так как тема будущего связана с современным искусством. Получилось очень красиво, в работе есть ощущение ностальгии по космосу 1980-х годов. Второй промт — это женщина, находящаяся по среди роскошной спальни с фортепиано. Эту тему я выбрал, так как мне показалось, что в стилистике Иды такая история раскроется интересным образом. Результат не такой поразительный, как предыдущий, однако тоже получилось очень необычно.
Stable Diffusion — обучение генеративной нейросети под свой стиль. https://stability.ai/
Hugging Face — получение токена для обучения нейросети. https://huggingface.co/
