Концепция
Крути́цкое подво́рье (Крути́цкое патриа́ршее подво́рье, Крути́цкий архиере́йский дом, Крути́цы) — бывшая резиденция епископов Сарских и Подонских, образованная в XIII веке в качестве монастыря. Название подворья происходит от слова «крутицы», обозначающего возвышенные левые берега Москвы ниже устья реки Яузы.
Идея проекта тесно связана с моим вариативом. Я решила обучить генеративную модель, чтобы она создавала изображения в стилистике Крутицкого подворья. Исходными данными послужил мои фотографии, сделанные в монастыре.
Референсы
Сгенерированные изображения
Полученные изображения смогли передать общий стиль монастыря, его фактурные стены и некоторые части свод
В некоторых местах генеративная модель немного сюрреалистична: наслаивает одни стены на другие или создает пространства, которые не возможны в архитектурном плане.
Также заметны небольшие дефекты, как например не совсем ровная дверь в монастырь. Таким образом можно сказать, что модель уловила общие черты визуального стиля здания.
Процесс обучение модели
Работа осуществлялась в Гугл Коллаб: — Началось все с установки окружения (ставятся библиотеки (diffusers, transformers, accelerate, и т. д.) и скачивается скрипт обучения DreamBooth LoRA. — Затем используется модель BLIP для автоматической генерации подписей, чтобы генеративная модель лучше определяла фотографии. — И финальное дообучение SDXL через DreamBooth + LoRA.
Таким образом, я смогла заставить нейромодель генерировать изображения похожие на Крутицкое патриаршее подворье.
Для лучшей настройки окружения я прибегала к Gemini.
