Обучение генеративной нейросети

Целью данного проекта было дообучение генеративной модели в определенном художественном стиле. Для начала обучения потребовалось отобрать набор изображений, отражающих этот стиль, который затем должен был быть воспроизведен в генерируемых изображениях. Стиль Джона Кен Монтерсона стал для меня источником вдохновения, и я решила создать модель, которая в дальнейшем будет имитировать его уникальный художественный почерк.

Хочется отметить, что художник использует страшные образы и большое количество штрихов, которые имитируют волосяной покров. В дополнение ко всему картины созданы на бумаге. Все перечисленные детали являются самыми яркими и выделяющимися в его технике, что важно отметить для того, чтобы сравнить результаты генераций и исходных изображений.

Так же было отобрано несколько изображений в реализме для того, чтобы в итоге можно было совместить эти два разных стиля для получения необычного эффекта и придания индивидуальности генерируемых картин.

В процессе генерации мне захотелось поэксперементировать с силой смешивания стиля, вследствие чего картины начали становиться более реалистичными, но при этом сохраняли мрачную атмосферу исходных вариантов

Так же в процессе работы было увеличено количество шагов для генерируемых картин, что повлияло на качество детализации каждого изображения. На мой взгляд, многие детали стали более сглаженные и затемненные.

Чтобы рассмотреть модель подробнее, я сгенерировала картины разных животных, которые получились достаточно мрачными, но при этом детализированными, сохранившими стиль автора.

В качестве среды для выполнения проекта я выбрала GoogleCollab, так как он позволяет работать на GPU.

Перед началом работы необходимо было установить необходимые библиотеки, а так же собрать необходимые картины для обучения модели.

Таким образом, были подгружены необходимые скрипты и изображения [1:1] в виде датасета для дальнейшего анализа.

После данного этапа настало время убедиться, что подгруженный датасет отображается в коде. Дальнейшим действием было создание префикса для того, чтобы нейросеть запомнила стиль и смогла обучиться, опираясь на определенные слова.

И наконец, можно было приступить к обучению модели, процесс которого занял около часа. После обучения необходимо было использовать созданный префикс для генерации последующих изображений в обученном стиле.