Этот проект создан на обучение нейросети, которая в итоге сможет распознавать и повторять визуальные стили художников и художниц.
Нейросеть обучается на базе произведений художницы Мауд Льюис и исследует элементы её творчества: композицию, цветовую палитру работ, технику мазка и другие важные аспекты неповторимого стиля создательницы работ.
Ниже представлены некоторые картины Мауд Льюис, использованные в базе данных для обучения искусственного интеллекта.
Мауд Льюис (Maud Lewis) — канадская художница, известная своими яркими и наивными картинами, которые изображают природу, сельскую жизнь и повседневные сцены. Она страдала от различных медицинских состояний, включая остеоартрит, что ограничивало её физические возможности. Но даже несмотря на это, она начала рисовать в детстве и продолжала создавать произведения искусства на протяжении всей своей жизни.
Ниже представлены несколько работ Мауд Льюис, которые находятся в датабазе для последующего анализа.
«Maud’s Dog», 1961
«Spring Ploughing», 1958
«Deer in winter (Buck at waters edge)», 1950
«Sunset with Deer», 1964
«Summer Oxen», 1962
«Three Black Cats», 1962
Далее представлена коллекция изображений, созданных нейросетью, которая обучалась на картинах Мауд Льюис.
СЕРИЯ ИЗОБРАЖЕНИЙ
«In the style of Maud Lewis chickens and ducks farmyard»
промпт «In the style of Maud Lewis deer and cats in snowy»
«In the style of Maud Lewis horses and barns snowy»
«In the style of Maud Lewis sheep and goats barn»
«In the style of Maud Lewis black cat windowsill»
«In the style of Maud Lewis happy dog farm»
Смотря на эти работы, можно понять, какие основные аспекты стиля Мауд Льюис были анализированы искусственным для генерации:
• Народные Мотивы (У художницы есть много работ изображающих жизнь на ферме, животных и природу) • Примитивизм/наивный стиль • Обилие «акцентных» цветов (в интерпретации ИИ преобладает акцентный красный оттенок)
Несмотря на то, что работа искусственного интеллекта смогла понять основное направление стиля работ Мауд, важно понимать, что ИИ не может создать что-то абсолютно не отличимое от произведений художницы. Одно из самых заметных отличий генерации и исходников — скудность цветов первого. Несмотря на наличие акцентного цвета в генерациях, в частности красного, работы Мауд отличаются неповторимым буйством красок.
ПРОЦЕСС ОБУЧЕНИЯ
Весь процесс проходил в Colab-блокноте. Для обучения SDXL DreamBooth LoRA он настраивает GPU, устанавливает необходимые библиотеки и задаёт параметры. Потом собранная и обрезанная под квадратный формат база данных загружается в папку. Затем генерируются изображения общего класса, подготавливаются данные и тренируется LoRA — небольшой набор дополнительных параметров, адаптирующих SDXL.
В конце обученная LoRA загружается на hugging face и применяется для создания новых изображений.
загрузка базы данных
Скачивание HuggingFace на локальный диск
импорт и форматирование работ под квадрат
превью датабазы/исходников
генерация описания изображения
сохранение и загрузка рабочей модели в Hugging Face
подготовка датасета перед обучением LoRa
создание нужной подписи/caption prefix для промтов
создание пайплайна для генерации изображений по предобученной модели и создание промпта для итогового изображения
ПРИМЕНЕНИЕ ГЕНЕРАТИВНОЙ МОДЕЛИ
• Google Colab блокнот, как обученная нейросеть на основе SDXL DreamBooth LoRa • Для исправления кода и написания концепций использовался ChatGPT и PerplexityAI
