Концепция проекта
Для меня одним из главных направлений в изобразительном искусстве является импрессионизм, так как импрессионисты пытались уловить мгновение, свет и эмоцию в своих работах. Таким образом, картины наполнялись эмоциями, живостью и поэтичностью.
Цель проекта заключается в том, чтобы с помощью нейросети сгенерировать современные реалии в стиле прошлого и посмотреть на мир технологий и небоскрёбов глазами Ван Гога, Огюста Ренуара и многих других.
Исходные изображения для обучения
В качестве датасета были выбраны работы импрессионистов, представленные по ссылке
Картины Ван Гога, Пьера Огюста Ренуара и Жоржа Леммена
Данный датасет состоит из 300 изображений, он был ужат до 200 элементов, которые являются материалами общественного достояния, поэтому их использование не является нарушением закона об индивидуальной собственности.
Как видно по датасету, он состоит из ссылок на изображения в wikiart. Для загрузки изображений с медиа-платформы был написан python-скрипт download_img.py
Картины Уинслоу Хомера и Поль Сезанна
Процесс обучения нейросети
Также так как картины импрессионистов не нужного формата (1:1), была использована функция image_grid
Через модель BLIP были сгенерированы подписи к картинкам и добавлен concept token identifier, который является оптимизацией для нейросетей и позволяет лучше понимать, что от неё хотят и концепт результата
Была обучена нейросеть на датасете изображений и сгенерированных ранее подписях (промптах), чтобы она умела генерировать новое.
Обученная модель была сохранена на внешний репозиторий huggingface, чтобы потом легко получать доступ к ней
Затем были сгенерованы новые изображения с помощью обученной модели
Сначала через полностью обученную версию (500 эпох обучения), а потом через обученную наполовину (250 эпох)
Результирующая серия изображений
Промт для фото слева: «one photo in Impressionist style, modern glass architecture, modern skyscrapers, lots of modern cars on the roads» Промт для фото справа: «one photo in Impressionist style, modern home appliance store, lots of people with gadgets»
Промт для фото слева: «one photo in Impressionist style, modern office, lots of tables with computers, lots of people with gadgets» Промт для фото справа: «one photo in Impressionist style, one child is sitting on a chair with a tablet and watching cartoons, a large portrait»
Промт для фото слева: «one photo in Impressionist style, people are riding the subway, all people are looking at the phone» Промт для фото справа: «one photo in Impressionist style, large portrait, modern two people are sitting on a park bench and each is talking on the modern phone, A man wearing headphones, the girl with the laptop»
Промт для фото слева: «one photo in IMPESSIONIST style, very large frame, a new Mercedes car on the road, modern city»
Промт для фото справа: «one photo in IMPRESSIONST style, a supermarket with stalls with vegetables and a variety of imported products, electronic cash registers»
Все сгенерированные картины
Анализ итоговых изображений
В ходе выполнения проекта была обучена генеративная нейросеть на датасете картин в стиле импрессионизма, что позволило создать серию из 8 изображений, отражающих сцены современной жизни в художественной манере данного направления.
Полученные результаты показали, что нейросеть способна успешно перенимать ключевые особенности импрессионизма — работу со светом, цветом, размытыми формами и передачей мгновенного впечатления — и применять их к новым, ранее не встречавшимся сюжетам. При этом современные объекты и ситуации приобретают более эмоциональную и художественную интерпретацию.
Таким образом, можно сделать вывод, что генеративные модели не только воспроизводят стиль, но и позволяют переосмысливать визуальную реальность, объединяя искусство прошлого и технологии настоящего. Это открывает перспективы использования подобных систем в искусстве, образовании, дизайне и цифровой культуре.
ГенИИ в данном проекте использованы не были
