Обучение генеративной сети под собственный стиль

Идеей данной работы стало желание натренировать модель, способную генерировать интерьеры и локации, вдохновленные серией игр Silent Hill. Игра является достаточно культовой и обладает своим определенным стилем (в частности это относится к 1 и 2 части серии). Помимо определенного фильтра и стиля, была попытка разнообразить элементы, натренировав модель на основе заброшенных и полуразрушенных интерьеров.

Подготовим рабочую среду и загрузим необходимые материалы.

Импортируем наши датасеты.

Проделаем то же самое, но с другим датасетом.

Запуск обучения второй модели.

После того, как я научил модель, хочу протестировать то, насколько удачно она может передавать стиль Silent Hill. Поэтому начну с генерации кухни

Получается в целом приближенно к стилю игры, даже есть прорисовка каких-то маленьких объектов, однако пока слабое попадание в качественную светотень.

Отлично получаются объекты в генерации прачечной комнаты, также при незначительном изменении настроек промпта добавляется более мрачная и грязная атмосфера.

Попробуем сгенерировать детскую комнату.

Это дается модели чуть сложнее, но с изменением промпта со второго раза получается приближенный к тому, что хочется видеть, результат.

Теперь загрузим вторую модель и протестируем ее работу.

Попробуем начать с спальни.

Отлично получается передать как общую картину, так и мелкие объекты и светотень.