本文第一作者：崔文谦，香港中文大学博士生，致力于语音大模型，多模态大模型，AI音乐生成等方向的研究。

由香港中文大学团队撰写的语音语言模型综述论文《Recent Advances in Speech Language Models: A Survey》已成功被 ACL 2025 主会议接收！这是该领域首个全面系统的综述，为语音 AI 的未来发展指明了方向。

• ArXiv链接：https://arxiv.org/abs/2410.03751
• GitHub链接：https://github.com/dreamtheater123/Awesome-SpeechLM-Survey

为什么语音大模型是 AI 的下一个风口？

想象一下，如果 AI 能够像人类一样自然地进行语音对话，不再需要传统的「语音转文字（ASR）- 文本大模型处理（LLM）- 文字转语音（TTS）」的繁琐流程，而是直接理解和生成语音，那将是怎样的体验？这就是语音大模型（语音语言模型，SpeechLM）要解决的核心问题。

传统的语音交互系统存在三大痛点：信息丢失、延迟严重、错误累积。当语音转换为文字时，音调、语气、情感等副语言信息完全丢失；多个模块串联导致响应延迟明显；每个环节的错误会层层累积，最终影响整体效果。

SpeechLM 的出现彻底改变了这一局面。它能够端到端地处理语音，既保留了语音中的丰富信息，又大幅降低了延迟，为真正自然的人机语音交互铺平了道路。

技术架构：三大核心组件构建语音智能

本论文深入剖析了 SpeechLM 的技术架构，发现其由三个关键组件构成：语音分词器、语言模型和声码器。

• 语音分词器（Speech Tokenizer）负责将连续的音频信号转换为离散或连续的 token 表示。根据建模目标的不同，可以分为语义理解型、声学生成型和混合型三类。语义理解型专注于提取语音的语义内容，声学生成型则重点保留音频的声学特征，而混合型试图兼顾两者的优势。
• 语言模型（Language Model）是整个系统的核心，主要采用基于 Transformer 的自回归架构。通过扩展词汇表实现同时处理文本和语音 token，实现真正的多模态建模能力。
• 声码器（Token-to-wav Synthesizer，Vocoder）则将语言模型生成的 token 转换回可听的音频波形，完成从抽象表示到具体语音的最后一步转换。

训练策略：从预训练到指令微调的完整流程

训练一个高质量的 SpeechLM 需要精心设计的训练策略。我们的综述详细梳理了当前主流的训练方法，包括三个关键阶段。

预训练阶段是基础，可以选择冷启动或继续预训练两种方式。冷启动从零开始训练，而继续预训练则基于已有的文本语言模型进行适配，后者通常能获得更好的效果。关键在于如何有效对齐文本和语音的表示空间，使模型能够充分利用两种模态的共同信息与互补信息。

指令微调阶段让模型学会遵循各种指令执行不同任务。研究者们通过构建大规模的指令跟随数据集，让 SpeechLM 具备了处理多样化语音任务的能力。

后对齐阶段则通过人类反馈强化学习等技术，进一步优化模型的输出质量和安全性，确保生成的语音既自然又符合人类偏好。

交互范式：实现真正自然的语音对话

语音交互的未来不仅在于理解和生成，更在于如何实现真正自然的对话体验。传统的语音交互采用「你说完我再说」的模式，但真实对话中人们经常会打断对方或同时说话。为了让 AI 具备这种自然对话能力，研究者们正在开发具有实时交互能力的 SpeechLM。

关键突破在于全双工建模技术，它包括两个核心特性：用户中断能力，即模型可以被用户打断并适当响应；同时响应能力，即模型能够在处理输入的同时生成输出。通过流式处理和全双工架构，SpeechLM 能够支持真正的双向同时通信，让人机交互变得更加自然流畅。

应用场景：重新定义人机交互的边界

SpeechLM 的应用潜力远超我们的想象。在语义相关应用方面，它能够进行自然的语音对话、语音翻译、自动语音识别、关键词检测等任务。更重要的是，这些任务都可以在统一的框架下完成，无需针对每个任务训练专门的模型。

在说话人相关应用中，SpeechLM 展现出了强大的说话人识别、验证和分离能力，甚至可以根据指令生成特定音色的语音。这为个性化语音助手和多人对话系统开辟了新的可能性。

最令人兴奋的是副语言学应用，SpeechLM 能够理解和生成带有特定情感、语调和风格的语音。它不仅能识别说话者的情绪状态，还能根据指令生成相应情感色彩的语音回应，让人机交互变得更加生动自然。

评估体系：多维度衡量模型性能

如何科学评估 SpeechLM 的性能是一个重要课题。我们的论文系统梳理了当前的评估方法，包括自动评估和人工评估两大类。

自动评估涵盖了表示质量、语言学能力、副语言学特征、生成质量和多样性、实时交互能力以及下游任务性能等多个维度。每个维度都有相应的指标和基准测试，为模型比较提供了客观标准。

人工评估则主要通过平均意见分数（MOS）等主观指标，从人类感知的角度评估语音的自然度、韵律质量和音色相似度等特征。

挑战与未来：通往通用语音智能的道路

尽管 SpeechLM 取得了显著进展，但仍面临诸多挑战。组件选择的最优化、端到端训练、实时语音生成、安全风险防控以及稀有语言支持等问题都需要进一步研究。

特别值得关注的是安全性问题。SpeechLM 可能生成有害内容或泄露隐私信息，如何建立有效的安全防护机制是当务之急。同时，如何让 SpeechLM 更好地服务于资源稀缺的语言和方言，也是推动技术普惠的重要方向。

结语：开启语音 AI 的新纪元

这篇即将在 ACL 2025 主会议上发表的综述论文，不仅是对 SpeechLM 领域的全面梳理，更是对未来发展方向的深入思考。我们相信，随着技术的不断进步，SpeechLM 将彻底改变人机交互的方式，开启语音 AI 的新纪元。

让我们一起期待这个激动人心的未来，在那里，AI 不仅能听懂我们说什么，更能理解我们怎么说，并以同样自然的方式与我们对话。这不仅是技术的突破，更是人类与 AI 关系的根本性变革。

📖 想了解更多技术细节？欢迎关注我们即将在 ACL 2025 上的正式发表！