VibeVoice：微软开源的前沿语音 AI 引擎

一句话判断

VibeVoice 不是单一的 TTS 或 ASR 项目，而是微软用同一套连续语音 tokenizer（7.5 Hz）打通"听"与"说"两端的前沿语音 AI 研究框架。它的工程价值在长音频处理能力上尤为突出——ASR 单次处理 60 分钟、TTS 单次合成 90 分钟——这直接挑战了传统分段处理的工程范式。

项目概览

VibeVoice 目前包含三个核心模型：

• VibeVoice-ASR-7B：统一语音转文字模型，单次处理最长 60 分钟音频
• VibeVoice-TTS-1.5B：长篇幅多说话人语音合成（ICLR 2026 Oral），已在 2025-09 因合规原因从仓库移除代码
• VibeVoice-Realtime-0.5B：实时流式 TTS，支持流式文本输入

此外还有一个边缘推理变体 VibeVoice-ASR-BitNet，通过异构量化（I8_S + I2_S）将模型从 4.62 GB 压缩到 1.58 GB，在 3+ CPU 线程上实现实时推理（RTF < 1），无需 GPU。

核心技术：7.5 Hz 连续语音 Tokenizer

VibeVoice 的技术核心是一组连续语音 tokenizer，包含声学（Acoustic）和语义（Semantic）两种，均运行在 7.5 Hz 帧率——即每秒音频仅产生 7.5 个 token。

这个数字的意义需要放在行业背景下理解：传统离散语音 tokenizer 通常工作在 25–50 Hz 甚至更高帧率，一段 60 分钟的音频会产生数万个 token，远超大多数 LLM 的上下文窗口。7.5 Hz 将 token 数量压缩了一个数量级，使得 60 分钟音频（约 27,000 个 token）可以被 64K 上下文窗口的 LLM 一次性吞下。

tokenizer 分两层：

• 语义 tokenizer：捕捉语音的语义信息（谁在说什么），为 LLM 提供可理解的表示
• 声学 tokenizer：保留音频的声学细节（音色、情感、韵律），供扩散头（diffusion head）重建高保真波形

VibeVoice 采用 next-token diffusion 框架：LLM 负责理解文本上下文和对话流程，扩散头负责生成高保真声学细节。两者协作完成语音生成。

VibeVoice-ASR：60 分钟单次转录

传统 ASR 系统将长音频切成 10–30 秒的短片段分别识别，再拼接结果。这种方式的根本问题在于丢失全局上下文：说话人切换时身份追踪断裂、跨片段语义不连贯、时间戳对齐困难。

VibeVoice-ASR 的方案是在单次推理中处理最长 60 分钟的连续音频（64K token 以内），联合完成三件事：

1. ASR（语音识别）：将语音转为文字
2. Diarization（说话人分离）：标注"谁在说话"
3. Timestamping（时间戳）：标注"什么时候说的"

输出结构为 Who-When-What 三元组，无需额外的说话人分离后处理。

另一个实用特性是 Customized Hotwords（自定义热词）：用户可以提供特定人名、技术术语或背景信息，模型据此提升领域内容的识别准确率。这对医疗、法律、技术会议等垂直场景尤其有价值。

模型原生支持 50+ 种语言。推理方面，已集成 vLLM 加速，微调代码也已开源。

VibeVoice-ASR-BitNet：CPU 上的实时 ASR

2026-07-23 发布的 BitNet 变体是工程上的亮点。通过异构量化（I8_S + I2_S 混合精度），4.62 GB 的模型被压缩到 1.58 GB——压缩率约 66%。在 3 个 CPU 线程上即可达到 RTF < 1（实时因子小于 1，意味着处理速度快于音频播放速度）。

这意味着不需要 GPU 就能在边缘设备上运行高质量 ASR，适用场景从服务器扩展到了嵌入式设备、低端笔记本和物联网终端。

独立的推理引擎代码在 microsoft/VibeASR.cpp。

VibeVoice-TTS：90 分钟多说话人合成

注意：VibeVoice-TTS 的代码已于 2025-09 因合规原因从仓库移除。模型权重仍可在 HuggingFace 获取，但仓库不再维护 TTS 代码。以下为技术分析。

VibeVoice-TTS-1.5B 被 ICLR 2026 接收为 Oral，核心能力包括：

• 90 分钟单次合成：在单次推理中合成最长 90 分钟的语音，保持说话人一致性和语义连贯
• 4 说话人对话：支持单次对话中最多 4 个不同说话人，自然处理轮次切换
• 表达性语音：捕捉对话动态和情感细微差别

与 ASR 类似，长篇幅单次合成的关键优势是全局一致性——不需要逐句合成再拼接，整段对话的韵律、情感和说话人特征自然过渡。

VibeVoice-Realtime-0.5B：流式 TTS

2025-12 开源的实时 TTS 变体，支持流式文本输入和长篇幅语音生成。2025-12-16 更新增了实验性多语言说话人（德语、法语、意大利语、日语、韩语、荷兰语、波兰语、葡萄牙语、西班牙语）和 11 种英语风格说话人。

可在 Google Colab 直接体验。

技术路线判断

VibeVoice 的技术路线可以提炼为一条主线：用低帧率连续 tokenizer 统一语音的输入与输出。

原始音频
  ↓ 连续语音 tokenizer (7.5 Hz)
语义 token → LLM 理解上下文
声学 token → 扩散头 生成细节
  ↓
文本 (ASR) / 高保真波形 (TTS)

这条路线的优势在于：

• 长音频处理天然友好（token 数量可控）
• ASR 和 TTS 共享 tokenizer 设计，工程一致性高
• LLM + 扩散头的分工既利用了语言模型的上下文理解能力，又保留了音频生成质量

风险在于：

• TTS 代码因合规移除，实际可用性受限
• 7.5 Hz 帧率是否对所有语种和声学场景都足够，尚需社区验证
• 模型尺寸偏大（ASR 7B），对推理资源要求高

快速上手

ASR 推理

VibeVoice-ASR 模型和微调代码已开源。HuggingFace Transformers 已原生支持：

# 参考 HuggingFace 模型页面的使用示例
from transformers import AutoModelForSpeechSeq2Seq

model = AutoModelForSpeechSeq2Seq.from_pretrained("microsoft/VibeVoice-ASR")

也可通过 Azure AI Foundry Labs 的 在线 Playground 直接体验。

CPU 推理（BitNet 量化版）

# 使用 VibeASR.cpp 独立引擎
git clone https://github.com/microsoft/VibeASR.cpp
cd VibeASR.cpp
# 参考仓库 README 编译运行

实时 TTS

# Google Colab 体验
# https://colab.research.google.com/github/microsoft/VibeVoice/blob/main/demo/vibevoice_realtime_colab.ipynb

适用边界

适合：

• 需要长音频（会议、播客、访谈）高质量转录的团队
• 希望在 CPU 上部署 ASR 的边缘场景
• 研究语音 tokenizer、长序列建模等方向的学术团队

不适合：

• 需要 TTS 生产环境部署的团队（代码已移除）
• 对实时延迟有严格要求的对话式语音助手（模型偏大）
• 需要细粒度情感控制的 TTS 场景（当前 Realtime 模型说话人选择有限）

相关链接

• 仓库：github.com/microsoft/VibeVoice
• ASR 技术报告：arxiv.org/pdf/2601.18184
• TTS 技术报告：openreview.net/forum?id=FihSkzyxdv
• 模型权重：HuggingFace Collection
• CPU 推理引擎：github.com/microsoft/VibeASR.cpp