Обучение генеративной нейросети// Чернобыльская молитва. Хроника будущего
Обложка сгенерирована в рамках проекта и отредактирована в Adobe Photoshop.
1/ Идея
«Чернобыльская молитва. Хроника будущего» — книга белорусской журналистки и писательницы, лауреата Нобелевской премии по литературе, Светланы Алексиевич, посвящённая аварии на Чернобыльской АЭС в 1986 году.
Исходные иллюстрации, на основе стилистики которых обучалась модель, были предоставлены мне дизайнером и студенткой Школы дизайна Анастасией Кузьмичевой (при условии упоминания авторства).
Концептуальной составляющей моего проекта является переосмысление травматической памяти через её распад. Так как нейросетевые генерации часто получаются «обезличенными», это позволяет подчеркнуть призрачное витание трагедии.
Стилистической основой проекта стали предоставленные мне иллюстрации, а промпты были составлены с опорой на произведение Светланы Алексиевич.
Процесс
Структура кода в файле main:
1. Настройки импорта (код обозначает, где лежат фотографии и куда в дальнейшем его надо сохранять) 2. Подключение Google Диска для заимствования оттуда фотографий 3. Подготовка данных (поиск изображений в папках, подгонка под единый размер и. т. д.) 4. Настройка LoRA 5. Обучение (перевод в латентное пространство, преобразование слов в числа, добавление шума для дальнейшего восстановления, самообучение, оптимизация) 6. Сохранение в папку final 7. Проверка фотографий на наличие в папке
Структура кода в файле cr: 1. Настройки (модель рисования, место сохранения, кол-во итоговых картинок, точность) 2. Подключение Google Диск для заимствования настроек стиля 3. Загрузка стиля 4. Загрузка программы для рисования 5. Промпты 6. Процесс (создание папки, выбор описания из списка и. т. д.) 7. Запуск
Итог: 21 файл в папке res
2/ Итоговая серия изображений
В основе генераций лежит промпт с описанием сцены из книги. Ниже могут быть прикреплены цитаты из произведения для большего погружения в контекст. В подписях лежат названия файла. Блоки под изображениями — промпты.
Нейросеть довольно быстро переняла стилистику иллюстраций. Исходные изображения были нарисованы крошкой из угля, что немного даёт неровный край и эффект запыленности. Нейросеть же рассмотрела это скорее как эффект линогравюры (по крайней мере именно такое ощущение создается), что так же хорошо вписалось в проект.
1/ «На выставке детских рисунков: ходит по зараженному весеннему полю аист. И подпись: „Аисту никто ничего не сказал“» 2/ «Старуха стирает зараженное белье, руки также заражены и все в волдырях»
«Он всегда мне говорил: „Ты не представляешь, какая красивая Москва! Особенно на День Победы, когда салют. Я хочу, чтобы ты увидела“.»
3/ «Люди стоят на балконах, поднимают вверх детей, сажают на плечи и любуются красным заревом и голубым свечением пожара на станции, снизу поднимается заражение» 4/ «Фейерверк на девятое мая, она в одном конце палаты, он в другом, весь в пленке, заражен»
«А поговорить можно и с живыми, и с мертвыми. Мне никакой разницы. Я и тех, и других слышу. Когда ты одна… И когда печаль… Сильная печаль…»
5/ «Похоронен под толстым слоев бетона, в цинковом гробу, сам заражен, рядом лежит его зараженная дочь без имени, возле гроба на коленях ползает женщина» 6/ «Карта мира, зараженное облако плывет над Африкой и Китаем»
7/ «Мертвая зараженная девочка лежит на двери, на которой куча зазубрин с отметками взросления, рядом маленький гроб» 8/ «Бабушка, немного зараженная, засыпает в городе, а ей снится ее деревня»
Особенно удались генерации с меньшей детализацией и большей толщиной линии, так как это напрямую заимствует стилистику исходных изображений.
9/ «Земля, разделенная на две части, по одну сторону дороги, на зараженной земле, солдаты стоят, не пускают, а по другую коров пасут, гудят комбайны» 10/ «Отец выкинул всю одежду, но оставил зараженную пилотку, подарил ее маленькому сыну, тот был очень рад»
«Пусть она отравленная, с радиацией, но это моя родина. Нигде мы больше не нужны. Даже птице свое гнездо мило»
11/ «Военные ездили к самому зараженному месту, реактору, фотографироваться» 12/ «Все вокруг заражено и в самом центре висит красный советский агитационный плакат „Загоним железной рукой человечество в счастье!“
13/ «На зараженной земле стоят иностранные журналисты в пластиковых комбинезонах, касках, резиновых бахилах, перчатках, и даже камера в специальном чехле, рядом с ними русская девушка в летнем платье и босоножках» 14/ «Хоронят зараженный рыжий и красный лес, вырубают и упаковывают в целлофановые пакеты, там же жуки и муравьи. Выкопанная яма, а рядом гора этого леса»
15/ «Огромная яма, набитая трупами зараженных животных. Из ямы карабкается пудель, а его ногой запихивают обратно и заваливают землей» 16/ «Богатый мужчина хочет на двух машинах вывезти свою семью с вещами, трехлитровыми банками варенья и солений, мебелью, при этом не хватает транспорта вывезти маленьких детей, вокруг зараженная земля»
17/ «Снимок зараженных легких человека, которые похожи на звездное небо. Сотни дырочек, как в мелком решете» 18/ «Голые шахтеры при очень высокой температуре катили перед собой вагонетки на четвереньках в зараженной земле»
19/ «а скамейке у дома сидит молодая женщина, кормит ребенка грудью, молоко зараженное. „Чернобыльская мадонна“» 20/ «В центре стоит дом с забитыми окнами, а вокруг все заражено. На доме написано краской „Прости нас, родной дом!“. Во дворе стоит детская коляска, на ней сидит ворона, как над своим гнездом. Качается на старой яблоне поржавевшая клетка с открытой дверцей, домашний попугай сам с собой разговаривает: „Гоша хороший. Гоша хороший“»
Иллюстрации получились в хорошем смысле обезличенными и довольно абстрактными. Где-то узнаются человеческие формы, где-то происходящее превращается в паттерн.
Было принято решение убрать одно изображение из проекта в силу его излишней реалистичности.
Кратко: Файл main содержит программу, которая извлекает фотографии из папки и на их основе обучает машину Lora, а результат обучения сохраняет в папке Lora.
Файл cr на основе файла с результатами обучения из папки Lora генерирует изображения по запросу и сохраняет в папку res.
Итоговые изображения периодически напрямую перенимают заданную стилистику, иногда вводя свои коррективы. С точки зрения концепции проекта, иллюстрации отражают ощущение присутствия трагедии и фоновой тревоги. Соответственно, поставленная задача была решена.
