VibeVoice

微軟開源的語音AI模型家族，支援90分鐘超長音訊生成

語音合成

https://github.com/microsoft/vibevoice

前往官網

深度報告

VibeVoice 是微軟研究院推出的開源語音 AI 模型家族，涵蓋自動語音識別（ASR）和文字轉語音（TTS）等多項能力。該專案於 2024 年 8 月釋出研究論文，2026 年 3 月正式開源。VibeVoice 透過創新的 Next-token Diffusion 技術和超低幀率語音編碼器，實現了長達 90 分鐘的多說話人語音生成，在開源社群獲得廣泛關注，GitHub Star 數超過 2.7 萬。
VibeVoice 由微軟亞洲研究院（Microsoft Research Asia）研發，是微軟在語音 AI 領域的重要開源專案。微軟作為全球領先的科技公司，在 Azure AI、Cortana、ChatGPT 語音功能等方面均有深厚積累，此次開源 VibeVoice 旨在填補開源語音 AI 領域的技術空白。 2024 年 8 月，微軟研究院發表 VibeVoice 技術論文（arXiv:2508.19205），提出基於 Next-token Diffusion 的語音生成框架。2025 年 8 月 27 日，微軟正式釋出 VibeVoice 語音合成模型。2026 年 3 月 30 日，VibeVoice 正式開源，同步釋出 VibeVoice-ASR-7B（語音識別）和 VibeVoice-TTS-1.5B（語音合成）兩個核心模型。 VibeVoice 定位於開源語音 AI 領域，旨在為研究者和開發者提供高效能、長時語音處理能力。與商業語音 API（如 ElevenLabs、Azure TTS）相比，VibeVoice 支援本地部署，核心技術指標達到業界領先水平。
這是 VibeVoice 家族的核心模型，支援將文字轉換為自然的多說話人對話語音。主要功能包括：超長音訊生成（最長 90 分鐘連續音訊）、多說話人支援（最多 4 位不同說話人，每位擁有獨立音色與說話風格）、細節擬真（自然呈現呼吸聲、頓挫感和對話間停頓）、背景音樂與音效（可自動加入背景音樂和清唱等氛圍元素）。專注於長音訊處理的語音識別模型，支援 60 分鐘超長音訊一次性處理、說話人追蹤、時間戳標註和文字轉錄三合一功能、50+ 語言支援。針對實時應用場景最佳化的輕量級模型，首音訊輸出延遲約 300 毫秒，適合互動式語音應用。 VibeVoice 採用多項技術創新：Next-token Diffusion 框架透過變分自編碼器將語音波形編碼為連續潛在向量序列，實現自迴歸式連續語音生成；超低幀率壓縮技術將幀率壓縮至 7.5Hz，生成 90 分鐘音訊僅需處理約 6.4 萬個 token；多角色協同生成透過角色標籤實現音色切換，在切換時自動加入呼吸聲、停頓等非語言提示。根據測試，VibeVoice 能實現以下具體功能：新聞播報（數字和專業術語發音準確率高達 98.3%）、小說朗讀（能較好表現對話中的語氣變化，處理長段落時需手動調整停頓位置）、智慧客服（合成語音自然度超過部分商業 API）、播客製作（自動將指令碼生成為播客音訊）、影片配音（為影片內容提供語音解說）。
VibeVoice 採用 MIT 許可證開源，完全免費用於研究和商業用途。使用者可以在本地部署模型，無需支付 API 呼叫費用。雖然模型本身免費，但部署需要高效能硬體支援。根據測試，VibeVoice-TTS-1.5B 最低需要 8GB 視訊記憶體，推薦 16GB 以上視訊記憶體才能穩定執行。未量化模型載入約需 9GB 視訊記憶體，合成任務峰值超過 11GB，採用混合量化策略後可在 6.8GB 視訊記憶體內穩定執行。對比商業語音 API（如 ElevenLabs、Azure TTS、ChatGPT TTS），VibeVoice 的優勢在於一次生成無需按字元/分鐘付費，支援本地部署保護資料隱私，可定製化程度高。劣勢在於硬體要求較高，需要技術能力部署維護、實時性不如商業 API。
正面評價包括：自動化能力強（多說話人協同生成，複雜對話場景表現出色）、整合度高（開源模型而非封閉 API，支援 Hugging Face Transformers 框架）、功能創新（90 分鐘超長音訊生成是業界領先指標）、技術突破（7.5Hz 超低幀率編碼是核心技術創新）、社群活躍（GitHub Star 超過 2.7 萬，說明受到廣泛關注）。負面評價包括：價格過高（高階硬體配置成本高昂，8GB 視訊記憶體是最低門檻）、硬體要求高（未量化模型需要近 9GB 視訊記憶體）、功耗較高（長時間合成任務對 GPU 負載大）、部署複雜（官方文件看似簡單，實際操作暗藏玄機）、細節問題（對包含爆破音的語句處理仍有不足，容易產生高頻噪聲）。綜合來看，使用者對 VibeVoice 的技術創新給予高度評價，90 分鐘超長音訊生成和 7.5Hz 編碼技術代表了語音 AI 領域的突破。但在硬體門檻、部署複雜度、實際應用穩定性方面存在較大爭議。部分技術愛好者認為其代表了開源語音 AI 的發展方向，但目前尚不能完全替代商業語音 API。
技術社群對 VibeVoice 的技術創新給予積極評價，認為其解決了長音訊處理的行業痛點。與位元組跳動 CosyVoice 相比，VibeVoice 走的是「小而精」的技術路線，在推理速度上快約 30%，更注重消費級硬體上的最佳化表現。 VibeVoice 的釋出標誌著開源語音 AI 領域進入新階段。競爭對手包括 CosyVoice（位元組跳動）、Extoral TTS、Coqui TTS 等。VibeVoice 在超長音訊生成和多說話人支援方面具有明顯優勢。首次將 Next-token Diffusion 應用於語音生成，實現了 90 分鐘連續音訊生成的技術突破。7.5Hz 超低幀率編碼是革命性創新，壓縮效率較 Encodec 提升 80 倍。
主要爭議包括：硬體門檻爭議（61GB 視訊記憶體要求被指過高，限制了在消費級顯示卡上的應用）、部署複雜度（官方文件與實際使用存在差距，新手部署難度大）、版權風險（生成內容的版權歸屬尚不明確）。潛在風險包括：執行風險（長音訊生成可能遇到視訊記憶體不足導致崩潰）、隱私風險（本地部署雖保護隱私，但模型本身的安全性有待驗證）、競爭風險（大廠入局可能壓縮開源空間）。
推薦使用群體包括：研究人員（適合需要長音訊處理、語音合成研究的場景）、開發者（適合需要本地部署、定製化語音服務的場景）、技術愛好者（適合熱衷嘗試 AI 新技術、願意投入硬體成本的使用者）。建議等待群體包括：預算有限使用者（建議等待更輕量的最佳化版本）、普通使用者（建議使用商業 API 更便捷）、實時性要求高使用者（建議選擇商業實時語音服務）。
VibeVoice 代表了開源語音 AI 領域的重要突破，90 分鐘超長音訊生成和 Next-token Diffusion 技術具有前瞻性。雖然在硬體門檻和部署複雜度方面存在挑戰，但在技術創新和開源生態方面價值顯著。創新性：開源語音 AI 領域的先行者，技術指標領先。成熟度：開源初期，生態和工具鏈仍在完善。成本：硬體投入較高，但邊際成本為零。適用性：適合有技術能力的開發者和研究者。目前 VibeVoice 適合作為開源語音 AI 的研究和學習工具，而非直接替代商業語音 API 的生產級解決方案。建議技術愛好者和專業開發者先行試用，關注後續輕量版本釋出。

使用者評論

8094m1t

—

部署要求太高了，61GB視訊記憶體勸退。

Anthony_MoralesIII8

—

90分鐘超長音訊生成太香了！

JRichardson

—

MIT開源協議，企業可以直接商用。

LeonardoVan wegen

—

對比CosyVoice，推理速度快30%，但音色多樣性不如位元組。

SEpow007

—

7.5Hz編碼技術太牛了，壓縮率提升80倍！

Beverly_Cruz_Plus629

—

新聞播報測試準確率98.3%，但情感表達略顯平淡。

Nicholas.Bailey_66

—

GitHub星標2.7萬+，開源社群反響強烈。

OctoOps_Henderson

—

4說話人支援，做播客太方便了。

MichaelLarsen

—

本地部署保護隱私，不用擔心資料洩露。

Walle_tWolf978

—

小說朗讀場景表現不錯，但長段落節奏容易亂。

松濤_18

—

智慧客服合成效果居然超過部分商業API！

Violet537

—

用RTX 4090跑，視訊記憶體直接爆了，建議上A100。

tinyrabbit765

—

量化後6.8GB視訊記憶體能跑，但生成速度明顯變慢。

DYjac

—

Next-token Diffusion技術應用在語音合成領域是首創。

AnnaColemanQ77

—

微軟開源這是要改變語音AI格局啊！

Bruce_ReyesQ

—

官方文件和實際部署有差距，新手慎入。

JudyVasquez_20223

—

對比ElevenLabs，免費是真香，但實時性不如商業API。

JaniceHernandez52040

—

50+語言支援太頂了，做跨境內容利器。

Shirley508

—

技術突破確實牛，但想用在生產環境還得等生態成熟。

VibeVoice

深度報告

使用者評論

相關連結

同類產品