В данном проекте передо мной стояла задача обучить нейронную сеть Stable Diffusion XL LoRA создавать изображения в нужном мне стиле. Я решила выбрать стиль древнегреческой мраморной скульптуры и собрала датасет из 32 работ, взяв их из открытой коллекции сайта музея Метрополитан. В числе картинок есть как бюсты и головы людей, так и надгробия — изображения, высеченные на прямоугольном камне.
Исходные изображения
Я взяла работы безымянных авторов, которые свободно распространяются по лицензии Creative commons open license и собрала их в папку. Далее я скачала нужные диффузоры и библиотеки, загрузила картинки, привела их к одному размеру и формату 1:1, авторизовалась на HuggingFace для сохранения модели и запустила обучение на 1000 шагов с контрольным шагом 500. Готовую модель я сохранила и использовала в генерации с приставкой in GREEK style за 25 шагов.
Сгенерированные изображения
В результате получились очень качественные изображения, которое на 100% повторяют как сам аттический греческий стиль скульптуры по мрамору, так и фотографический стиль этих арт-объектов. Однако с созданием особенностей персонажей, которых не было в датасете, у модели были большие проблемы. Она очень хорошо рисует людей, животных и растения, но практически не может изобразить человека другой расы, лицевой структуры, с прямыми волосами и другими особенностями. Наиболее удачной уникальной картинкой получился китайский император. Довольно удачно также модель повторила профиль афроамериканского рэпера Канье Веста, но остальные атрибуты у него традиционно греческие.
kanye west in GREEK style
a chinese emperor in GREEK style
a delicate flower bouquet in GREEK style
a ballet dancer in GREEK style
a matryoshka in GREEK style
От матрешки здесь наблюдается только силуэт, лицо и украшения же прямо взяты из убранства древнегреческой женщины
a teacher playing with children in GREEK style
a russian tsar in GREEK style
От царя здесь совсем ничего не наблюдается, кроме нечеткой шапки на голове
mark zuckerberg in GREEK style
a man feeding a dog in GREEK style
Очень четкая геометрия силуэтов и качественная прорисовка, только у собаки нет головы
a wandering woman with a stick in GREEK style
В итоге, работы получились хорошего качества, однако навыков модели пока недостаточно, чтобы создавать полноценные скульптурные концепты с любыми персонажами или предметами.
Ссылка на претренированную модель: https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0
