Mistral выпустила Voxtral 3 — семейство моделей распознавания речи (speech-to-text) и синтеза речи (text-to-speech) вместе с SDK для голосовых агентов. В анонсе заявлены три модели транскрипции, две модели синтеза и потоковый конвейер, который объединяет слушание, рассуждение и ответную речь.
Доступно это через Mistral API с европейскими, американскими и глобальными эндпоинтами, через EU-hosted API Mistral или для самостоятельного развёртывания на своей инфраструктуре. Тестировать агентов, транскрипцию, генерацию речи и клонирование голоса можно в плейграундах Studio.
Что именно вошло в семейство
Модели распознавания различаются по назначению. Voxtral Small Transcribe 3 — вариант с наивысшей точностью: многоязычная транскрипция, диаризацияопределение, кто из говорящих произнёс каждую реплику и context biasingподсказка ключевых слов, повышающая точность распознавания нужных терминов на 50+ языках. Voxtral Mini Transcribe 3 — вариант на 4B параметров с ценой $0.0035/min. Voxtral Mini Transcribe Realtime 3 рассчитан на агентские сценарии: задержка менее 500 мс на 40+ языках.
Синтез представлен Voxtral Mini TTS 3 — 35+ языков и 50+ диалектов, доступен в batch- и realtime-режимах. Отдельно упомянута адаптация Pro Voice: она воспроизводит характер говорящего, диапазон эмоций и манеру речи на разных языках по 30 минутам аудио.
Как устроен Voice Agent SDK
SDK построен на LiveKitоткрытая платформа для голосовой и видео-связи в реальном времени, на которой SDK организует передачу аудиопотока между участниками и проводит речь на входе, рассуждение и речь на выходе как один потоковый конвейер. Роли распределены между моделями: realtime-модель транскрипции слушает и определяет, когда вызывающий закончил говорить; общая модель, например Mistral Small, рассуждает и вызывает инструменты; TTS отвечает в тоне разговора.
Стадии не ждут друг друга, поэтому каждый ход завершается менее чем за секунду, а при перебивании агент замолкает. Действия выполняются через function callingвызов функций, описанных разработчиком, по решению модели, веб-поиск и поиск по собственным системам — так агент может проверить личность звонящего, посмотреть счёт или записать на приём. В примере вызов get_referral возвращает текст направления, а book_appointment — подтверждение.
Поскольку каждая стадия — отдельная модель, LLM, голос или язык меняются без переписывания агента.
Как измеряют качество
Для диаризации используется метрика cpWERconcatenated minimum permutation WER — WER, при котором гипотезы сопоставляются с эталонными говорящими по наилучшей перестановке и склеиваются в одну строку, макро-среднее по публичным бенчмаркам AMI-IHM, AMI-SDM, Switchboard, Switchboard CallHome и AISHELL-4. Для совместимости с API-базлайнами берутся 30-минутные версии AMI и AISHELL.
На FLEURS различаются два режима: forced — язык задан явно, inferred — язык определяется автоматически. Два режима нужны, чтобы отделить качество распознавания при известном языке от качества при его автоопределении. WER применяется для всех языков, кроме японского, корейского, тайского и китайского, где используется CERcharacter error rate — доля ошибок на уровне символов, а не слов.
Для синтеза качество оценивают по нескольким замерам. Voice Code Benchбенчмарк от BeSimple AI, сфокусированный на сбоях корпоративной поддержки, связанных с числами и уникальными именами: 300 английских промптов, по два голоса на систему, судья — gemini-3.8-flash, цены берутся со страниц прайсинга вендоров, дата генерации — 2026-10-20. Метрика «quality per dollar» — позиция на графике, где лучшее направление обозначено как «вверх и влево», то есть выше качество при ниже цене. Pronunciation controlзамер доли клипов, где целевое слово произнесено нужными фонемами: 300 английских предложений с редким или выдуманным словом, 150 лёгких и 150 сложных. Multilingual — средняя оценка судьи по 11 языкам на 377 промптах по шкале 1–5, Expressive English — средняя оценка по шкале 1–5.
Многоязычность и управление просодией
Для realtime-модели транскрипции перечислен список языковых кодов: AR, BN, BG, CA, CS, NL, EN, ET, FI, FR, DE, EL, GU, HI, ID, IT, JA, KN, KO, LV, MK, MS, ML, MR, NO, FA, PL, PT, RO, RU, SK, ES, FIL, TE, TR. Синтез заявлен на 35+ языках и 50+ диалектах; голосовые пресеты доступны в 18 языках с региональными вариантами — например, арабский (эмиратский и современный стандартный), английский (американский и британский), французский (Франция), испанский (Испания).
Многоязычные оценки учитывают диалектные различия в произношении, формальном и неформальном регистре, орфографии, многословности и локальных конвенциях — времени, датах, температурах, адресах, валютах.
Эмоция и стиль голоса в TTS выводятся двумя путями. Модель сама интерпретирует текстовый контекст промпта, чтобы определить эмоцию и манеру речи, без дополнительных инструкций. Либо их задают явно — переменными эмоции, темпа и акцента. Голос бренда воспроизводится клонированием по 30+ минутам сэмплированного аудио; произношение отдельных слов управляется подсказкой фонем.
Почему понадобилось всё сразу
Транскрипция и синтез по отдельности продвинулись далеко, но сквозной голосовой агент, который слушает, рассуждает, взаимодействует и ведёт сложные рабочие процессы, строить по-прежнему трудно. Авторы формулируют четыре требования к надёжному агенту: точно слушать (языки, акценты, говорящие, перебивания), глубоко рассуждать о смысле в контексте, естественно говорить с эмоцией и выполнять действия за несколько шагов через подключённые системы. Совместить всё это в реальном времени — и есть задача, которую решает единый конвейер.
Что это меняет на практике
Начать можно с quickstart «Transcribe an audio file» — один вызов API превращает аудио в текст, на это отводится 5 минут. Для транскрипции доступны batch-модели Voxtral Mini Transcribe 3 и Voxtral Small Transcribe 3, а также realtime-модель.
Сторонние реализации повторяют форму hosted API Mistral: серверный процесс поднимает два эндпоинта, и существующий клиентский код работает при смене только хоста и пути. Batch-эндпоинт принимает multipart-загрузку WAV и возвращает текст. Realtime-эндпоинт — WebSocket с тем же протоколом, что у hosted API: клиент, нацеленный на wss://api.mistral.ai/v1/audio/transcriptions/realtime, работает без изменений против локального адреса, достаточно убрать query-параметры ключа и модели. Входящие сообщения — добавление фрагмента аудио в base64 PCM s16le mono 16kHz, сброс и завершение потока; исходящие — создание сессии, дельты текста и финальный текст.
Для эксплуатации «sovereign deployment» означает контроль над тем, где обрабатывается аудио, как обращаются с данными и сохраняются ли разговоры. Требования к железу видны из сторонних реализаций: рекомендуется GPU минимум с 10 ГБ VRAM, на RTX 3090 с bf16 большинство запросов обрабатываются примерно за 0,5 с при ~9 ГБ VRAM, запуск только на CPU не рекомендуется. Реализация под V100 требует карту на 16 или 32 ГБ (модель на 4B помещается примерно в 10 ГБ), форк vLLM с бэкендом FlashAttnV100Backendбэкенд внимания для GPU Volta (sm_70), поставляемый форком vLLM и построенный на Triton и CUDA 12.8 версии 1.2.1 или новее.
Ограничения и открытые вопросы
Сторонние реализации фиксируют расхождение batch и streaming: одно и то же аудио может дать немного разную расшифровку. Причина — разные варианты Metal-ядра в механизме внимания при разных формах query/key-value: в batch длины совпадают, в streaming — нет. Накопленная разница в выходе энкодера составляет ~1-2% относительной L2-ошибки, и жадное декодирование иногда переворачивает argmax, после чего авторегрессия уводит фразу. Поэтому критерий корректности streaming-тестов — связная правдоподобная расшифровка, а не побайтовое совпадение с batch.
Задержка streaming управляется числом токенов задержки — это служебные шаги, на которые модель отстаёт от поступающего аудио, прежде чем выдать текст; чем их больше, тем больше времени у модели на уточнение и тем выше точность, но и тем выше задержка отклика. По умолчанию 6 токенов (≈480 мс) дают WER 8,7%, 9 токенов (720 мс) — 8,0%, 12 токенов (960 мс) — 7,3%, дальше выигрыш выравнивается. Модели voxtral и voxtral4b требуют явного языкового кода на входе; при неизвестном языке можно передать -l auto, и тогда перед основной транскрипцией выполняется определение языка.
В документации Mistral модель Voxtral Mini Transcribe 3 помечена как Premierстатус модели в документации Mistral, смысл которого в материалах не раскрыт.
