Alibaba выпустила мультимодальную модель Qwen3.8-Omni-Flashмодель Alibaba, обрабатывающая текст, изображения, аудио и видео в рамках единой архитектуры, которая в рамках единой архитектуры обрабатывает текст, изображения, аудио и видео и поддерживает контекстное окно размером 1 млн токенов. По сравнению с предыдущей версией Qwen3.5-Omni-Plusпредыдущая версия модели Qwen3-Omni от Alibaba цена доступа по API за час обработки аудиоданных снизилась более чем на 98 %, а аудио и видео — более чем на 93 %.
Разработчик заявляет высокие результаты в редактировании видео, подготовке музыкальных клипов, кинопроизводстве, обобщении аудиовизуальной информации и диалогах в реальном времени. Средний результат в 29 бенчмарках вырос более чем на 25 % по сравнению с предыдущим поколением.
Что именно изменилось
Модель принимает на входе четыре модальности — текст, изображения, аудио и видео — и обрабатывает их в единой архитектуре, а не через отдельные внешние модули. Контекстное окно заявлено размером 1 млн токенов.
Для интерактивных приложений предусмотрен отдельный API Qwen3.8-Omni-Flash-Realtimeпрограммный интерфейс для сквозного взаимодействия с моделью в реальном времени. Перечень выходных модальностей в анонсе явно не задан: о них можно судить только косвенно — по сценариям вроде ведения диалогов в реальном времени.
Доступен вариант Qwen3-Omni-30B-A3B-Thinkingвариант для понимания и взаимодействия с мультимодальными входами. Он предназначен в первую очередь для понимания и взаимодействия с мультимодальными входами — текстом, аудио, изображениями и видео; для оптимальной работы в каждом раунде диалога рекомендуется включать явную текстовую инструкцию или описание задачи вместе с мультимодальным вводом.
Как устроена архитектура
Модель описывается как «natively end-to-end, omni-modal»: она изначально, без промежуточных внешних модулей, принимает разные модальности и выдаёт ответы в реальном времени — как текст, так и естественную речь. Обучение организовано в два этапа: сначала раннее текстовое предобучение, затем смешанное мультимодальное обучение. Такой порядок даёт нативную мультимодальную поддержку, при этом качество на текстовой и визуальной модальностях не ухудшается.
Управление выводом и работа с видео
Аудиовыход управляется параметром return_audio функции generate: при значении False модель возвращает только текст и отвечает быстрее. Полностью отключить аудиовыход можно после инициализации модели — это экономит около 10GB видеопамяти, но тогда return_audio в generate допускает только False. Голос задаётся параметром speaker; в примерах используются значения "Ethan", "Chelsie" и "Aiden".
Отдельный параметр use_audio_in_video определяет, использовать ли звуковую дорожку из пользовательского видео. При значении True аудио извлекается на этапе предобработки, и этот же флаг нужно передать и в процессор, и в генерацию. Для vLLM флаг задаётся через mm_processor_kwargs. В многораундовом диалоге параметр должен быть одинаковым на всех шагах, иначе возможны неожиданные результаты.
Требования к окружению
Рекомендуется Transformers версии 5.2.0 или новее: более старые версии, например 4.57.x, дают не только более слабую производительность, но и более низкую точность. Если Transformers уже установлен, его следует сначала удалить или создать новое окружение Python, после чего установить transformers>=5.2.0 и accelerate.
Для обработки аудио- и визуального ввода предлагается набор qwen-omni-utils, устанавливаемый командой pip install qwen-omni-utils -U; в системе должен быть установлен ffmpeg. Набор обеспечивает API-подобный опыт и поддержку base64, URL и чередующихся аудио, изображений и видео.
Для Hugging Face Transformers рекомендуется FlashAttention 2, чтобы снизить потребление памяти GPU; при использовании vLLM установка не нужна, так как vLLM включает FlashAttention 2 по умолчанию. FlashAttention 2 требует совместимого железа и может использоваться только когда модель загружена в torch.float16 или torch.bfloat16.
Запуск через vLLM и его ограничения
При инференсе параметр limit_mm_per_prompt задаёт максимальное количество данных каждой модальности на одно сообщение. Поскольку vLLM предварительно выделяет память GPU, большие значения требуют больше памяти; при OOM значение следует уменьшить. Параметр tensor_parallel_size больше единицы включает многопроцессорный параллельный инференс, а max_num_seqs задаёт число последовательностей, обрабатываемых параллельно за шаг.
Серверный режим vLLM serve для Qwen3-Omni сейчас поддерживает только thinker-модельчасть системы, которая понимает входные данные и формирует ответ, — без talker-компонента, отвечающего за генерацию речи. Поэтому в серверном режиме недоступен параметр use_audio_in_video — видео и аудио нужно передавать отдельно. Запуск выполняется командой vllm serve с указанием модели, порта, хоста, dtype, max-model-len, allowed-local-media-path и -tp; примеры даны для одной и четырёх GPU.
Способы развёртывания
Помимо локального запуска, предлагаются два веб-демо — web_demo.py и web_demo_captioner.py, которые поднимают веб-сервер и дают ссылку для доступа к UI в браузере. Для упрощения развёртывания предоставляются Docker-образы с предсобранным окружением qwenllm/qwen3-omni; нужно установить драйвер и скачать файлы модели, а при работе в контейнере — настроить адрес по IP сервера или проброс портов.
Для более быстрого взаимодействия предлагается DashScope API: офлайн-API для Qwen3-Omni-Flash (Instruct и Thinking), real-time API для сквозного взаимодействия в реальном времени и API для модели Captioner.
Замеры производительности
На 36 аудио- и аудиовизуальных бенчмарках модель достигает open-source SOTA на 32 и устанавливает SOTA на 22, превосходя Gemini 2.5 Pro и GPT-4o. State-of-the-art на текстовых и визуальных модальностях сохраняется без деградации относительно одноразмерных одиночных аналогов Qwen.
Отдельные результаты: WildClawBench-MM — 71,0 балла, что на 36,5 балла больше предшественницы; UniClawBench — 69,6; LongAudioSpan — 82,7; OmniVideoBench — 63,4; OmniCap-IF — 28,2; AliMeeting — 89,7.
Условия оценки заданы явно: Instruct-модели используют greedy decoding без сэмплирования, Thinking-модели берут параметры декодирования из generation_config.json, все видеоданные устанавливаются в fps=2, system prompt не задаётся, а текст вопроса подаётся после мультимодальных данных.
Практические сценарии
Среди описанных сценариев — генерация навигационных команд по видео от первого лица, анализ переходов между сценами, ответы на произвольные вопросы в аудио-визуальных сценах, интерактивное общение с аудио-визуальным вводом (включая постановку задачи голосом), разговорное взаимодействие и выполнение вызовов функций по аудио для агентного поведения.
Для captioning аудио требуется аудиофайл, загружаемый или записываемый через интерфейс, и параметры генерации temperature, top_p, top_k; модель принимает аудио и возвращает текст. Для запуска captioner доступны бэкенды vLLM и Transformers, причём Transformers может использовать FlashAttention.
Ограничения и открытые вопросы
Размер контекстного окна предыдущей версии неизвестен, поэтому соотнести его с 1 млн токенов нельзя. Перечень выходных модальностей явно не задан. Назначение вариантов Instruct и Captioner отдельно не описано. Ограничения модели авторы явно не формулируют — в разделе об условиях оценки приведены только параметры проведения замеров.
