//Концепция
Феликс Валлоттон — швейцарско-французский художник конца XIX — начала XX века. Его стиль отличался чёткими контурами и плоскостными формами. Его стиль напомнил мне сюжеты, которые могли бы прослеживаться в книгах писателей, поэтому в качестве серии иллюстраций я создаю сюжеты, связанные с традиционными русскими произведениями литературы.
В качестве пробы я вбивала простые сюжеты-пейзажи, чтобы протестировать модель. На данном этапе меня все устроило, дополнительные настройки не требовались, и я начала делать итоговые иллюстрации.
промт: landscape of a Russian field with a silhouette of trees in valloton style
//Результирующая серия изображений
Первый блок иллюстраций — Петербург, так как этот город чаще всего фигурировал в произведениях классиков.
промты: — Raskolnikov walks at night along the rainy embankment of St. Petersburg, in valloton style — foggy view of the Neva River and the buildings on its embankment in valloton style — rainy streets of St. Petersburg at night, bright yellow lanterns, in valloton style — a street in Saint Petersburg in valloton style
Следующий традиционный сюжет — это балы
промт: — traditional Russian ball at the palace in St. Petersburg in valloton style
Третий блок — образ офисных клерков, традиции рассылать письма, работа маленького человека.
В этой серии фигурируют рабочие столы и вид из окна который сопровождает героев.
промты: — The desktop of a Russian little man from Chekhov’s books in valloton style — view from the window of the Russian room on the ordinary street of St. Petersburg in valloton style — A Russian man in an office suit sits at a desk in his room among papers in valloton style
Помимо города, следующая обширная тема в произведениях классиков — это природа России и жизнь простого человека.
В этом блоке фигурируют пейзажи и деревенские мотивы.
промты: — Russian field in the village during the day in valloton style — A fisherman catches fish by the river in the forest in valloton style — a woman in a fur coat walks along the edge of the forest next to a frozen river in valloton style
Заключительной является тема деревни.
промты: — Russian village in the evening, the light of lamps is visible from wooden houses in valloton style — Chickens run along the paths in a traditional Russian village in valloton style
//Процесс обучения
В начале я настраиваю рабочую среду в Google Colab, проверяю доступность GPU и устанавливаю все необходимые библиотеки и зависимости. Также я подключаю Google Drive, чтобы иметь возможность сохранять датасет и результаты обучения.
Далее я перехожу к подготовке данных. Я загружаю изображения, которые будут использоваться для обучения модели, организую их в нужную структуру и проверяю, что все файлы корректно считываются. При необходимости я также добавляю текстовые описания к изображениям, чтобы модель могла лучше связать визуальный контент с запросами.
После этого я выполняю этап настройки параметров обучения. Я задаю ключевые параметры, такие как количество шагов, скорость обучения и параметры оптимизации, включая использование смешанной точности и методов экономии памяти. Эти настройки позволяют сделать процесс обучения более стабильным и эффективным.
Затем я запускаю основной процесс дообучения модели Stable Diffusion XL с использованием подходов LoRA или DreamBooth. В процессе обучения модель постепенно обновляет свои веса, адаптируясь к новому датасету и перенимая заданные визуальные особенности. Я отслеживаю ход обучения по логам, чтобы контролировать качество и стабильность процесса.
В завершении я сохраняю полученные веса модели, как правило в формате LoRA, и переношу их в хранилище. После этого модель можно использовать для генерации изображений с нужным стилем, объектами или визуальными характеристиками, полученными в ходе обучения.
