CM3leon by Meta

Мультимодальная архитектура нового поколения

CM3leon by Meta — это генеративная модель, объединяющая возможности синтеза изображений по тексту и анализа графического контента. В отличие от узкоспециализированных аналогов, CM3leon использует авторегрессионную архитектуру (decoder-only), адаптированную из языковых моделей, что обеспечивает низкие затраты на обучение и высокую скорость работы.

Высокая производительность и экономия ресурсов

Модель показывает передовые результаты в текстово-графических задачах, потребляя в пять раз меньше вычислительных ресурсов по сравнению с предыдущими трансформерными архитектурами. Обучение включает этапы предварительной подготовки с поисковым усилением (Retrieval-Augmented) и многозадачной настройки по инструкциям.

Широкий спектр визуально-текстовых задач

CM3leon эффективно справляется со следующими сценариями использования:

• Генерация изображений: создание детальных сцен по сложным текстовым промптам и структурированным макетам.
• Контекстное редактирование: изменение существующих изображений с помощью текстовых инструкций.
• Анализ графики: формирование описаний и точные ответы на вопросы по содержанию изображений (VQA).

Высокая точность и режим zero-shot

Благодаря обучению на лицензированном датасете и оптимизированным алгоритмам CM3leon демонстрирует уверенные результаты в режиме zero-shot, конкурируя с более крупными моделями. Низкий показатель FID (4.88) подтверждает высокое качество и реалистичность итоговых изображений.