Emu Video

Emu Video: Генерация видео из текста

Emu Video — это инструмент, специализирующийся на генерации видео по текстовым запросам с использованием явного обусловливания изображения. Технология основана на диффузионных моделях, которые разделяют процесс генерации на два этапа: сначала создается изображение на основе текстового описания, а затем на основе этого изображения и текста генерируется видео.

Такой подход позволяет эффективно обучать высококачественные модели генерации видео. В отличие от предыдущих методов, требующих сложной каскадной системы моделей, Emu Video использует всего две диффузионные модели для создания 4-секундных видеороликов с разрешением 512 пикселей и частотой 16 кадров в секунду.

Превосходные результаты

Emu Video демонстрирует передовые результаты в области text-to-video генерации, превосходя такие модели, как Make-a-Video (MAV), Imagen-Video (IMAGEN), Align Your Latents (AYL), Reuse & Diffuse (R&D), Cog Video (COG), Gen2 (GEN2) и Pika Labs (PIKA). По оценкам пользователей, видео, созданные Emu Video (512 пикселей, 16 кадров/сек, 4 секунды), признаны наиболее убедительными по качеству и точности соответствия текстовому запросу.

Команда и поддержка

Авторами инструмента являются Rohit Girdhar, Mannat Singh, Andrew Brown, Quentin Duval, Samaneh Azadi, Sai Saketh Rambhatla, Akbar Shah, Xi Yin, Devi Parikh и Ishan Misra. Основной технический вклад внесли Rohit Girdhar и Mannat Singh. Проект получил поддержку от множества коллег, предоставивших данные и инфраструктуру.