Моя главная цель в этом проекте — попробовать передать современную эстетику и актуальные сюжеты в графическом стиле Питера Брейгеля Старшего. Я хотела посмотреть, как его уникальный метод — панорамные композиции, гротескная подача людей и сложная штриховка — трансформирует привычные нам образы: современную архитектуру, улицы городов, одежду и поведение людей сегодня.
Оригинальные изображения
В качестве основы я использовала высококачественные сканы офортов Брейгеля из музейных коллекций. Датасет состоял из 68 изображений. Я выбрала именно графику а не живопись, так как её проще формализовать для нейросети: это четкие черные линии на белом фоне. Я предварительно обработала их, убрав текстуру бумаги, чтобы обучить модель исключительно его манере штриховки и композиционным приемам.
Что я ожидала увидеть в результате
Архитектура и улицы:
Интересно было увидеть, как прямые линии современных бетонных и стеклянных зданий превращаются в неровные линии гравюры. Я ожидала, что ИИ заполнит пустые плоскости стен перекрестной штриховкой, типичной для офорта, а городские улицы приобретут хаотичный, характерный для брейгелевских деревень.Люди и одежда:
Главная задача здесь — передать современную моду (худи, кроссовки, рюкзаки), но в гротескной манере художника. Я смотрела, сохранит ли ИИ упрощенные, немного нелепые пропорции фигур Брейгеля, одевая их в современные вещи.Сюжеты:
Я генерировала сцены современной суеты: фудкорты в торговых центрах, вагоны метро в час пик, офисные пространства, очереди в пункты выдачи заказов. Моей задачей было проверить, удастся ли ИИ превратить эти бытовые сцены в сатирические, почти монструозные композиции, какими были офорты Брейгеля.Я считаю проведенный эксперимент достаточно удачным. Конечно, для достижения результата, который бы удовлетворил меня полностью, мне потребовалось бы гораздо больше времени и объемный датасет, но уже сейчас видны ключевые маркеры стиля. Мне было интересно наблюдать, как нейросеть «сопротивляется» современности: на генерациях вместо привычных автомобилей часто появляются ретро-машины или странные повозки, а архитектура и одежда персонажей непроизвольно меняются под старину, подстраиваясь под исторический контекст первоисточника.
Промпт «dog walker park multiple dogs»
Мне эксперимент показался достаточно удачным, хотя для результата, который бы удовлетворил меня полностью, нужно больше изображений и времени.
- Было интересно наблюдать за тем, как современные картинки искажаются: вместо обычных машин появляются ретро-автомобили, а архитектура и одежда персонажей меняются под старину, подстраиваясь под исторический контекст.
- Достичь такой точности, как у художника в мазках, конечно, не вышло, так как я была ограничена ресурсами и мощностями, которые у меня есть.
- При этом нейросеть достаточно точно повторила специфическую штриховку, формы и характерную перспективу Брейгеля.
- Удалось передать и стремление автора заполнять все пустые места в композиции деталями и визуальным хаосом, что хорошо подошло для описания современной городской суеты.
Промпт «people_waiting_in_subway_crowded_morning»
Были и менее удачные генерации: например, современные высотные объекты, такие как небоскребы и типовые многоэтажки, обработать в стиле офорта не вышло совсем. Из-за того, что их формы слишком сильно отличались от исторической базы данных, нейросеть стремилась к реализму пропорций и выдавала результаты, больше похожие на обычные 3D-фотографии, чем на графику.
Промпт «highrise_apartments_rainy_day_fog»
Промпт «mom_cooking_kitchen_children_playing_nearby
Промпт «busy_crossroads_traffic_jam_evening»
Для обучения я использовала модель Stable Diffusion и метод LoRA, так как он лучше всего подходит для фиксации специфической графической манеры. Обучение проходило в течение 1000 шагов. Я намеренно выставила умеренный коэффициент обучения, чтобы модель не начала просто копировать лица с оригиналов, а смогла применять технику штриховки к новым объектам, которые она «видела» в базовой модели.
После получения весов обученной нейросети я приступила к созданию итоговой серии. Основная сложность заключалась в балансе: если выставлять слишком высокий вес моей модели, современные объекты (машины, кофемашины) превращались в непонятные средневековые артефакты. Я подбирала оптимальные значения, при которых форма объекта оставалась узнаваемой, но заполнялась текстурой старинного офорта.
Из-за технических ограничений Google Collab — небольшого объема видеопамяти и оперативной памяти — я не могла проводить обучение и генерацию тяжелых моделей. Это накладывало свои рамки: я была ограничена в возможности генерировать изображения сверхвысокого разрешения сразу, так как нехватка ресурсов приводила к ошибкам памяти. Чтобы обойти это и сохранить детализацию офортного штриха, мне пришлось внедрять поэтапное увеличение через сторонние интерфейсы, подбирая такие параметры обучения, которые позволяли выдать внятный результат даже при базовых мощностях.
По итогу у меня получился вот такой финальный код: https://disk.360.yandex.ru/d/F7h_9H2Btx9cgA и серия изображений представленная выше.
Использование Генеративной модели и Инструменты:
- ChatGPT (OpenAI) — https://chat.openai.com/ Использовался в качестве основного текстового ассистента для формулирования и структурирования концепции проекта и генерации идей по совмещению современных сюжетов с эстетикой XVI века.
- Perplexity AI — https://www.perplexity.ai/ Применялся для поиска и отладки специфических фрагментов кода. С его помощью я настраивала параметры обучения в ноутбуке и решала технические ошибки, возникавшие при работе с библиотеками для генерации.
- Google Colab — https://colab.research.google.com/ Облачная платформа, на которой разворачивалась среда для обучения модели LoRA и запуска генераций. Это позволило использовать мощности удаленных серверов и обойти ограничения моей локальной видеокарты.
- Real-ESRGAN — https://github.com/xinntao/Real-ESRGAN Специализированный инструмент для апскейлинга, который я использовала для финальной обработки. Он позволил увеличить разрешение генераций и восстановить четкость мелких линий штриховки, которые терялись при базовом выводе.
