语音语言模型（SpeechLM）技术全景：从原理到应用实践

前沿动态

🎉 重要进展：我们的综述论文《语音语言模型的最新进展》正式被自然语言处理顶会 ACL 2025 收录！本文全面解析语音语言模型（SpeechLM）技术体系，这类模型能实现端到端的语音人机交互，成为自回归基础模型的核心力量。[论文原文]

为什么需要语音语言模型？

传统语音交互采用 ASR（语音识别）+ LLM（大语言模型）+ TTS（语音合成） 的三段式流程，存在两大根本缺陷：

1. 信息损失：语音转文本时丢失语调、情感等副语言信息
2. 误差累积：多阶段转换导致错误层层叠加

SpeechLM 直接对语音信号建模，实现 端到端语音对话：

• 🍂
  
  ✅ 保留原始语音的完整语义和情感特征
• 🍂
  
  ✅ 单模型完成理解→思考→回复全流程
• 🍂
  
  ✅ 支持实时双向交互（全双工通信）

技术架构分类体系

我们提出创新的 三维分类框架，根据模型设计特点划分SpeechLM类型：

核心类别解析

主流语音语言模型全景

精选代表性模型，按技术路线分类说明：

工业级应用系统

1. OpenAI Advanced Voice Mode

   • 🍂
     
     支持实时语音对话 [技术文档]
2. Claude Voice Mode

   • 🍂
     
     移动端低延迟交互方案 [实现方案]
3. Kimi-Audio

   • 🍂
     
     中文场景优化模型 [技术报告]

高效推理架构

1. VITA-Audio

   • 🍂
     
     首创交叉模态token生成 [论文]
2. Slamming

   • 🍂
     
     单卡1天完成训练 的轻量方案 [代码]
3. MiniCPM-o

   • 🍂
     
     手机端部署的多模态模型 [GitHub]

专业对话优化

1. NTPP

   • 🍂
     
     双通道语音对话专用架构 [原理]
2. SyncLLM

   • 🍂
     
     突破传统轮次式交互限制 [研究]

“

完整模型列表参阅项目GitHub

语音Tokenizer技术解析

语音离散化是SpeechLM的核心预处理环节，三大技术路线：

语义Tokenizer

声学Tokenizer

混合Tokenizer

• 🍂
  
  SpeechTokenizer：统一语音token框架 [方案]
• 🍂
  
  Mimi：语音-文本联合token化 [实践]

训练数据集全景

SpeechLM训练依赖多类型语音数据：

预训练主流数据集

指令微调数据集

1. SpeechInstruct：语音指令数据集 [下载]
2. VoiceAssistant-400K：40万条语音助手交互数据 [获取]

评估基准体系

SpeechLM需多维度评估，主流benchmark：

能力维度评测

应用场景评测

1. VoxEval

   • 🍂
     
     56项语音任务 综合评估 [GitHub]
2. VoiceBench

   • 🍂
     
     纯语音输入输出场景测试 [框架]
3. AIR-Bench

   • 🍂
     
     20类跨模态任务评估 [工具]

技术趋势与展望

1. 低资源训练突破：Slamming等模型证明单卡可训
2. 全双工交互普及：SyncLLM实现人类级对话节奏
3. 多语言泛化增强：VITA-1.5支持50+语言交互
4. 开源生态成熟：Mini-Omni等开源方案涌现

“

最新动态：我们团队发布 VoxEval评测基准，全面评估语音模型知识理解能力 [论文] [代码]

参考文献

@article{cui2024recent,
  title={Recent advances in speech language models: A survey},
  author={Cui, Wenqian and Yu, Dianzhi and Jiao, Xiaoqi and Meng, Ziqiao and Zhang, Guangyan and Wang, Qichao and Guo, Yiwen and King, Irwin},
  journal={arXiv preprint arXiv:2410.03751},
  year={2024}
}