Развитие и применение технологий AI в области CGI и VFX

«Мы не в силах это остановить!»

— режиссёр Гарет Эдвардс об искусственном интеллекте¹.

Человеческое желание расширить свою временную перспективу, сохранив интерес к настоящему и заглянув в будущее, неизбежно приводит в движение механизмы прогресса. Технологии, которые неумолимо развиваются, ни секунду не стоят на месте и непрерывно совершенствуются, всегда были ключевым винтиком этой «эволюционной машины». Одним из важнейших этапов неустанного движения человечества стало внедрение алгоритмов искусственного интеллекта (ИИ) в разные сферы человеческой жизни. Выдающиеся достижения в области ИИ вывели эту технологию в область когнитивных процессов, которая традиционно была прерогативой людей². Принципиально революционные нейросетевые и генеративные инструменты апробируются в новых отраслях, в частности, на поприще креативных индустрий: музыки, искусства и кино.

¹ The Creator Director Gareth Edwards On Intensive Worldbuilding & Unique Robots / [Электронный ресурс] // Screen Rant: [сайт]. — URL: https://clck.ru/3AjsPS (дата обращения: 10.05.2024) ² Scott A. J., Gratton L. The new long life: a framework for flourishing in a changing world. — Bloomsbury Publishing. — 2021. — С. 15.

Если первыми шагами в изучении возможностей нового инструмента были почти незначительные попытки Legendary Entertainment в 2005 году исследовать зрительские предпочтения в контексте производства фильмов «Тёмный рыцарь» и «Мальчишник в Вегасе»³, то в последние годы технологии ИИ эволюционировали не только в области машинного обучения и анализа данных (например, система Script Book, прогнозируемая потенциальный кассовый успех фильма на основании выборки из характеристик предполагаемой аудитории⁴), но и в ускорении иных, более сложных задач — монтаж трейлера научно-фантастического фильма «Морган» (компания 20th Century Fox задействовала суперкомпьютер Watson от IBM, оснащенный ИИ⁴) или облачный рендеринг трейлера «Кролика Питера 2»³.

³ Datta A., Goswami R. The film industry leaps into artificial intelligence: Scope and challenges by the filmmakers // Rising Threats in Expert Applications and Solutions. — Springer Singapore, 2021. — С. 665-670. ⁴ Сибилев В. О. Применение искусственного интеллекта в сфере кинематографа при создании фильма // Научный аспект. — 2024. — №. 3. — С. 3498.

Это именно та область, в которой автоматизация рутинных процессов и повышение общей эффективности разных этапов пред- и постпродакшена сможет сэкономить как несоразмерные временны́е, так и ограниченные финансовые ресурсы киноделов, — а значит, исследование этой темы обладает особой полезностью и исключительной актуальностью.

Так, мною выдвигается гипотеза: междисциплинарный характер и универсальность инструментов искусственного интеллекта позволяет значительно расширить область применения технологии — в том числе до масштабов креативных индустрий. Преимущества, которые обеспечивает ИИ, особенно полезны в кинематографе, так как, предположительно, значительно упрощают, удешевляют и ускоряют создание фильмов на всех этапах производства: от сценария и раскадровки до финального композитинга.

В ходе исследования предлагается порядок рубрикации, определяющий перспективу анализа своеобразия развития AI в области кинопроизводства, в частности, CGI и VFX. Понятие эволюции и сама специфика применения AI последовательно раскрываются благодаря хронологическому изложению и сравнению технологий.

При отборе визуального материала я руководствовалась основной задачей исследования — показать сферу применения ИИ и развитие этой технологии со временем. Поэтому фильмы даны в хронологическом порядке с конкретной привязкой к тому или иному периоду. Кроме того, в целях большей конкретики, я выбрала наиболее любопытные примеры использования ИИ в киноиндустрии и обратилась к опыту трех компаний: Ziva Dynamics, Digital Domain и Pinscreen. Подобный подход дает возможность глубокого и последовательного анализа всех технологических изменений и их влияния на индустрию кинопроизводства в краткосрочной и долгосрочной перспективах.

Текстовые источники, которыми я апеллирую в этой работе, представляют собой эмпирические исследования о феномене искусственного интеллекта (ИИ) (как в «вакууме» — в сфере компьютерных наук, — так и на междисциплинарном «поле» — в контексте цифрового кинематографа). Кроме того, в ходе исследования я обращаюсь к техническим подробностям создания различных визуальных эффектов, которые описаны в соответствующих трудах.

Использование методов машинного («machine learning») и глубокого обучения («deep learning») в создании CG-существ и материалов — относительно новое, но уже многообещающее и перспективное направление. Именно поэтому многие компании интересуются им.

Компания Ziva Dynamics также изучает возможности машинного обучения, особенно в области своей инновационной технологии в real-time, и предлагает программное обеспечение под названием Ziva VFX. Эта технология позволяет интерактивно преобразовывать высококачественные оффлайн симуляции в персонажей, действующих в real-time. Полученная в результате автономного моделирования модель объединяется с репрезентативными данными анимации в процессе машинного обучения, благодаря чему можно быстро приближать анимацию модели к естественной динамике и убедительной физике.

По словам Рэнди Гринерга, «Мег должна была быть технологически безупречной с точки зрения персонажей»⁵. Если бы зритель заметил что-то неестественное, это бы сразу повлияло на впечатление от просмотра и на погружение в фильм. «Тогда в игру вступили Intel, Ziva Dynamics и Scanline…» — отметил исполнительный продюсер в контексте целей проекта — создания убедительной и реалистичной картинки.

Для симуляции мышц Scanline использовали Ziva Dynamics: в создании крупномасштабного объекта этот инструмент на тот момент применялся впервые⁶. «Масштаб был одним из сложнейших элементов фильма», — утверждает VFX-супервайзер Адриан Де Вет⁷.

Анатомически корректная костная структура приводила в движение мышечную систему, затем мышцы заставляли двигаться слои фасции, жира и кожи⁶. Все это работало слажено, как единая комплексная структура.

⁵ Ziva Dynamics & Randy Greenberg: The Making of The Meg / [Электронный ресурс] // Vimeo: [сайт]. — URL: https://vimeo.com/362867088 (дата обращения: 13.05.2024). ⁶ Duncan J. Oh, The Shark, Babe // CineFex. — 2018. — № 161. — С. 35. ⁷ Там же, С. 36.

В фильме «Мег: Монстр глубины» искусственный интеллект, а именно ML («machine learning»), использовался для генерации обучающих данных в процессе симуляции анимации гигантской акулы⁸. В этом процессе Scanline полагались на процессоры Intel Xeon Scalable. Кроме того, у команды Scanline изначально была симуляция белой акулы, но маленького, реального размера. Чтобы добиться убедительности симуляции (в том числе поведения симуляции при соприкосновении с симуляцией воды⁸), но уже на крупном масштабе, использовалось машинное обучение для вычисления тех же математических моделей, что и для обычной акулы, но уже для Мегалодона в несколько десятков раз превышающего привычные габариты акул. То также были Intel Power симуляции⁵.

⁸ The Meg Visual Effects Breakdowns / [Электронный ресурс] // VFX TechBlog: [сайт]. — URL: https://vfxtechblog.wordpress.com/2018/08/12/the-meg-visual-effects-breakdowns/ (дата обращения: 14.05.2024). ⁵ Там же, см. выше.

Симуляции Ziva Dynamics, выполненные при помощи алгоритмов искусственного интеллекта, выглядят очень убедительно и привлекательно, что можно наблюдать на примерах выше.

Ощущается и учитывается объем, правильно распределен центр физической массы, присутствует инерция движения, все работает согласно физическим законам, уделено большое внимание деталям — все минимальные сдвиги, движения сообщают мышцам соответствующие сокращения, появляются морщинки, 3D-модель не кажется монолитной — ясно различимы слои: костная масса, мышцы, сосуды, жировая прослойка и, наконец, кожа.

Традиционный риг значительно уступает Ziva-ригу в убедительности правдоподобности и естественности. Движения нереалистичные, почти каменные, скованные. Сама модель кажется пластмассовой. Деформации непостоянны, не гибки — наблюдается систематическая потеря объема («volume loss»), неправильное взаиморасположение плоскостей в отношении друг друга и 3D-пространства во время движения.

Так, передовая технология с использованием AI обладает большим количеством преимуществ, чем традиционные альтернативы, и значительно их превосходит по качеству, времени производства и убедительности финальной картинки.

Короткометражный фильм «Лучший друг», созданный для организации по защите прав животных PETA, также ознаменовал запуск первого элемента в линейке персонажей «эмоциональных существ» компании Mackevision.

Звездой короткого метра стал Лаки (Lucky) — поросенок, — лучший друг маленькой Мары. Он не только обаятелен, но и выполнен качественно и реалистично, благодаря Zive VFX.

Функциональное ядро Ziva VFX — в автономных оффлайн симуляциях физики анимации. Но как тогда машинное обучение работает вместе с Ziva? Симуляции Ziva Dynamics «скармливаются» ИИ⁹, чтобы система знала, как работают корректные и убедительные деформации при симуляциях. Затем ML применяется в устранении возможных багов и недоработок, что можно проделать и вручную, однако у человека это займет в несколько раз больше времени, чем у искусственного интеллекта, а значит, его преимущества и эффективность в производстве превосходит старые и более традиционные методы.

⁹ Breakthrough Theory, AI in Action | AIDC 2018 | Intel AI / [Электронный ресурс] // YouTube: [сайт]. — URL: https://www.youtube.com/watch?v=pSZn__bYA1k&t=1650s (дата обращения: 22.05.2024).