StepFun AI представила Step-Audio 2 Mini — открытая 8B модель речи, обгоняющая GPT-4o-Audio

Кратко о релизе

StepFun AI выпустила Step-Audio 2 Mini, открытую модель преобразования речи в речь с 8 миллиардами параметров под лицензией Apache 2.0. Модель объединяет сильные возможности текстового рассуждения с детализированной генерацией аудио, обеспечивая выразительное, обоснованное и интерактивное воспроизведение речи. Step-Audio 2 Mini показывает передовые результаты в задачах распознавания речи, понимания аудио, перевода речи и диалогов, опережая коммерческие системы, включая GPT-4o-Audio.

Единая токенизация аудио и текста

Вместо каскадной схемы ASR+LLM+TTS модель использует мультиформатную дискретную токенизацию, где текстовые и аудио-токены идут в одном потоке моделирования. Такая унификация позволяет выполнять сквозное межмодальное рассуждение, переключать голос и стиль на лету во время инференса и обеспечивать согласованность семантики, просодии и эмоциональной окраски.

Выразительная генерация, чувствительная к эмоциям

Step-Audio 2 умеет захватывать паралингвистические признаки: высоту тона, ритм, тембр, эмоции и стиль речи. Она не просто транскрибирует, а интерпретирует и генерирует естественные эмоциональные оттенки, такие как шепот, печаль или восторг. На бенчмарке StepEval-Audio-Paralinguistic модель достигает 83.1% точности, что заметно выше, чем у GPT-4o Audio (43.5%) и Qwen-Omni (44.2%).

Retrieval-augmented генерация речи

Модель поддерживает мультимодальную RAG (retrieval-augmented generation). Интегрирована веб-поисковая подложка для фактического обоснования и добавлен аудиопоиск, который извлекает реальные образцы голосов из большой библиотеки и встраивает их в ответы. Это позволяет подражать тембру и стилю реальных голосов при инференсе.

Вызов инструментов и мультимодальное рассуждение

Step-Audio 2 выходит за рамки синтеза: модель поддерживает вызов внешних инструментов. Она сравнима с текстовыми LLM по выбору инструментов и точности параметров и при этом превосходит их в вызовах инструментов аудиопоиска, чего нет в чисто текстовых моделях. Это расширяет области применения в сценариях, требующих внешних запросов, взаимодействия с инструментами и мультимодального принятия решений.

Масштаб обучения и данные

Модель обучена на масштабном корпусе: 1.356 трлн токенов текста и аудио, более 8 млн часов реального и синтетического аудио, и примерно 50 тыс. уникальных голосов на разных языках и диалектах. Предтренировка проходила в несколько этапов с курсом задач ASR, TTS, перевода речи и синтеза разговоров с метками эмоций. Step-Audio 2 Mini опирается на Qwen2-Audio для языковых рассуждений и CosyVoice для токенизации, что обеспечивает сочетание сильного понимания текста и детального управления звуком.

Результаты на бенчмарках

Распознавание речи (ASR)

• Английский: средний WER 3.14%, лучше GPT-4o Transcribe с примерно 4.5%.
• Китайский: средний CER 3.08%, заметно ниже GPT-4o и Qwen-Omni.

Понимание аудио (MMAU)

• Step-Audio 2: средний балл 78.0, опережая Omni-R1 с 77.0 и Audio Flamingo 3 с 73.1, особенно сильна в задачах звукового и речевого рассуждения.

Перевод речи

• CoVoST 2 (S2TT): BLEU 39.26, лучший среди открытых и закрытых моделей.
• CVSS (S2ST): BLEU 30.87, опережает GPT-4o с 23.68.

Диалоги (URO-Bench)

• Китайские диалоги: высокие показатели 83.3 (basic) и 68.2 (pro).
• Английские диалоги: близки к GPT-4o, 83.9 против 84.5.

Значение для разработчиков и исследователей

Step-Audio 2 Mini делает передовые мультимодальные аудиотехнологии доступными в рамках открытой лицензии. Унифицированная токенизация, эмоционально-чувствительная генерация, RAG-обоснование и поддержка инструментов дают разработчикам и исследователям гибкий инструмент для создания реалистичных, управляемых и фактически обоснованных голосовых интерфейсов. Модель, статья и веса доступны на Hugging Face для испытаний и интеграции.

Полезные ссылки

• https://huggingface.co/stepfun-ai/Step-Audio-2-mini
• https://arxiv.org/abs/2507.16632