Идея проекта
Обучить генеративную нейросеть Stable Diffusion создавать изображения в стиле детских рисунков.
Детские рисунки обладают уникальной эстетикой: яркие цвета, простые формы, отсутствие перспективы, непосредственность и искренность. Главной задачей было научить нейросеть воспроизводить эту наивную манеру, создавая новые образы, которые выглядят так, будто их нарисовал ребенок.
Примеры исходных изображений
В качестве исходных изображений я использовала детские рисунки моей семьи, собранные с разрешения родителей, моих братьев и сестер. Все изображения были приведены к квадратному формату 512×512 пикселей.
Процесс обучения
Для проекта я использовала метод DreamBooth на базе Stable Diffusion v1.5, адаптировав код под свои нужды.
Первая попытка: токен «child drawing» Первая попытка генерации оказалась неудачной: нейросеть создавала изображения, которые были слишком «правильными» и детализированными, теряя наивность детского стиля. Ошибка заключалась в том, что промпт был слишком общим и не фокусировал модель на характерных чертах детских рисунков.
Промпт: «a house in child drawing style»
Вторая попытка: токен «kidsart» Я создала новый уникальный токен «kidsart», который объединяет идею детского искусства. В промптах я стала использовать более конкретные описания: «crayon drawing», «simple shapes», «naive style». Это помогло нейросети лучше понять желаемую эстетику. Но при этом сами генерации отошли от идей изначальных детских рисунков.
Промпты: «a princess castle, childrens drawing, whimsical, colorful», «a friendly monster with big eyes, childrens illustration, naive style»
Итоговые изображения
После завершения обучения нейросеть создала серию изображений, основанных на девяти ключевых темах, характерных для детского творчества: домик, божья коровка, кошка, мама, моя семья, дерево, цирк, слон, ребенок.
Промпты: «a colorful house with a red roof and a smoking chimney, child drawing, crayon» «a ladybug with black spots on a green leaf, child drawing, crayon style, kids illustration, simple shapes»
промпты: «a happy child playing with a toy, child drawing, kids art, crayon style, colorful», «a friendly elephant with big ears and a trunk, child drawing, kids art, crayon style, simple shapes»
Промпты"a circus tent with a clown and a ball, child drawing, kids art, crayon style», " a big green tree with apples and a swing, child drawing, kids art, crayon style, colorful, naive»
Промпт: «a happy family holding hands, mom, dad, child, drawing, kids art, crayon style, colorful, simple shapes»
Комментарий к результатам
Нейросеть освоила главное: простые геометрические формы и эмоциональность — у всех персонажей большие глаза и улыбки. Благодаря токену «kiddraw» ей удалось передать и несовершенство детской руки: неровные линии, цвета, выходящие за контур.
Главные недочеты — неровность фона (наследие датасета с фотографированием рисунков, а не сканом) и иногда слишком «цифровая» текстура вместо живого штриха карандаша. В остальном генерации выглядят как настоящие детские рисунки и могут использоваться для иллюстраций и творческих проектов.
В общем и целом ии ошибается в линиях почти также как дети, поэтому в этой серии генераций можно увидеть разное восприятие зрителем одной и той же черты.
Промпты: «a smiling mom with long hair and a dress, child drawing, simple shapes», a fluffy cat with big eyes and whiskers, child drawing, kids art, crayon style, naive, colorful»
Описание применения генеративной модели
В проекте использована модель Stable Diffusion v1.5, дообученная методом DreamBooth на 30 детских рисунках (токен «kiddraw»). Текстовые описания и экспликация подготовлены с помощью ChatGPT. Большая часть изображений сгенерированы обученной нейросетью.