Edge Dance

EDGE: Генерация танцев с редактированием на основе музыки

EDGE — это инструмент на базе Искусственного Интеллекта, предназначенный для создания высококачественных хореографий из музыкальных композиций. Он использует эмбеддинги музыки, полученные с помощью модели Jukebox, и условную диффузионную модель для преобразования этих эмбеддингов в последовательность 5-секундных танцевальных клипов.

Принцип работы

Процесс включает кодирование входной музыки в эмбеддинги с использованием замороженной модели Jukebox. Затем условная диффузионная модель сопоставляет эти эмбеддинги с танцевальными клипами. На этапе инференса применяются временные ограничения к группам клипов для обеспечения согласованности, после чего они объединяются в видео произвольной длины.

Гибкость и контроль

• Поддержка произвольных пространственных и временных ограничений.
• Возможность создания танцев с учетом ограничений по суставам (например, генерация движений нижней части тела на основе движений верхней и наоборот).
• Функции для интерполяции движений (motion in-betweening) и продолжения танца.

Физическая реалистичность

EDGE включает новую функцию Contact Consistency Loss, которая повышает физическую реалистичность генерируемых движений. Эта функция обучается определять, когда ноги должны скользить, а когда нет, что помогает избежать нежелательного скольжения стоп и сохраняет естественность движений. Инструмент был обучен с учетом физической реалистичности и демонстрирует превосходство над предыдущими разработками, что подтверждается предпочтениями людей-оценщиков.

Области применения

EDGE подходит для различных задач, включая создание танцев произвольной длины, работу с ограничениями по суставам, интерполяцию движений и продолжение танцевальных последовательностей. Это делает его ценным инструментом для индустрии развлечений и искусства.