Riffusion
從 2022 年開源頻譜圖擴散模型到 Google Flow Music,Riffusion 是對話式 AI 音樂創作平臺,用自然語言即可生成帶人聲與編曲的完整歌曲
深度報告
-
Riffusion 是 AI 音樂生成領域的老兵,也是目前身份變化最戲劇化的一家。它從 2022 年底一個把「影象擴散」用到音訊上的開源玩具起步,2023 年拿到 400 萬美元種子輪,2025 年 7 月更名為 ProducerAI 並衝到百萬使用者,2026 年 2 月被 Google 整體收購,2026 年 4 月再以 Google Flow Music 的身份重生。今天你在 riffusion.com 看到的產品,本質上已經是 Google DeepMind 在 Google Labs 旗下的對話式 AI 音樂創作平臺,由 Lyria 3、Gemini、Veo 和 Nano Banana 共同驅動。
-
Riffusion 最初是 Seth Forsgren 和 Hayk Martiros 的業餘專案,2022 年 12 月 15 日開源。他們的巧思在於:用微調過的 Stable Diffusion v1.5 在「頻譜圖」上做擴散,把文字提示變成頻譜圖影象,再用逆傅立葉變換轉回音訊。時間就是影象的橫軸,於是二維影象模型也能建模音訊結構。原始模型按 MIT 協議開放,但只生成約 5 秒的器樂片段、沒有歌詞,音質也有限。 病毒式走紅之後,兩人把專案商業化。2023 年 10 月,Riffusion 完成 400 萬美元種子輪,由 Greycroft 領投,South Park Commons 和 Sky9 跟投,電子音樂組合 The Chainsmokers 出任顧問。此後產品幾經迭代:2025 年 1 月推出免費無限使用的公測網頁版,2025 年 7 月正式更名為 ProducerAI,換上自研的 FUZZ-2.0 模型並引入對話式創作介面,在被 Google 收購前已突破一百萬使用者。 2026 年 2 月 24 日,Google 透過 Google Labs 產品管理總監 Elias Roman 的部落格宣佈收購 ProducerAI,整個團隊併入 Google Labs 與 Google DeepMind。這距離 Google 釋出最新音樂模型 Lyria 3 僅一週。2026 年 4 月,產品再次更名,以 Google Flow Music 面世,底層換成 Lyria 3 Pro;2026 年 5 月上線 iOS 應用,並在 Google I/O 加入細粒度分段編輯。Producer.ai 現已重定向到 flowmusic.app,但外界仍普遍以 Riffusion 或 Producer AI 稱呼它。
-
當前產品是「對話式」的:使用者用自然語言和一個由 Gemini 驅動的 Producer agent 交流,像在錄音棚裡跟製作人說話一樣——「把第二段主歌的貝斯做得更狠一點」「把歌詞翻成西班牙語但保留旋律」。它支援文字、影象和音訊三種條件輸入,能一次生成帶人聲、編曲和歌詞的完整歌曲。 核心模型 Lyria 3 Pro 採用分層注意力機制,最長可生成 3 分鐘、44.1kHz 立體聲的完整歌曲,並能讓第一段主歌的旋律動機在橋段和尾奏裡重現、演化。圍繞這首歌,平臺提供一整套編輯能力:Remix 混音、Extend 續寫、Stem 分離(拆出人聲、鼓、貝斯、旋律後在傳統 DAW 裡精修)、Replace 與分段編輯(只改不滿意的那一段而不動全曲)、AI 翻唱(上傳一段音訊,平臺圍繞它重新編排音樂)。 更特別的兩條是 Spaces 與音樂影片。Spaces 讓你用自然語言造出全新的樂器、合成器和效果器,平臺稱之為「vibe-code」,無需寫程式碼就能生成可彈奏、可分享的瀏覽器端音訊工具,目前沒有競品提供類似能力。音樂影片則由 Veo 或 Gemini Omni Flash 根據曲目敘事生成配套短影片。所有輸出都嵌入 Google 的 SynthID 不可見水印,可在 synthid.google.com 驗證其 AI 來源。 值得一提的是,早期 riffusion.com 的開源版本與今天的產品完全是兩回事:前者只是 5 秒器樂片段、無歌詞、音質有限且倉庫已歸檔不再維護;今日的 Google Flow Music 跑的是 Google 自研前沿模型。
-
Google Flow Music 採用信用點(credit)訂閱制。免費檔提供有限信用點和商用授權,可以直接用於變現內容。付費檔按年付更划算:Starter 年付約 6 美元/月(月付 7.99 美元),每月 3000 信用、約 600 次生成;Plus 年付約 18 美元/月(月付 24.99 美元),每月 1 萬信用;Member 年付約 48 美元/月(月付 64 美元),每月 3 萬信用、最多 16 路併發。Google AI Plus / Pro / Ultra 訂閱使用者會分別獲得對應檔位的 Flow Music 信用。iOS 應用已於 2026 年 5 月上線,Android 仍在開發中。 在 2025 年初的公測階段,riffusion.com 曾以「免費、無限生成、無需登入、無水印」的極慷慨策略快速拉新;被 Google 收編後轉向更剋制的信用點模型,但免費檔仍保留商用權,對獨立創作者相當友好。
-
實際體驗者普遍認可它的「自由感」。Tom's Guide 的作者曾用它在半小時內做出一張 7 首歌的播放列表,盛讚無限生成讓人敢於反覆試錯、不被點數束縛,創意自由度高且零成本;他也坦言成品打磨度不及 Suno,人聲時好時壞,提示詞也不總被精確執行。Toolify 的評測更偏向技術維度,認為它在音訊質量、歌詞自然度(減少機器味)上表現突出,支援最長約 4 分鐘完整歌曲,人聲相比 Suno V4 減少了不自然的「Shimmer」金屬感。面向新手和實驗性創作的評測則把它和 Suno 免費檔並列,視為「鼓勵自由探索、沒有質量壓力」的樂園。
-
Billboard 與 Music Business Worldwide 等權威媒體把 Google 收購 ProducerAI 視作 AI 音樂賽道的關鍵一步。Google 給它的定位是「創作協作者」而非「老虎機」——Elias Roman 強調,好的音樂不是塞個提示詞、搖老虎機就能出來的,ProducerAI 正是為「隨著時間展開的來回打磨」而生。這讓它和 Suno、Udio 等「一次性生成」的產品形成差異。在同一賽道里,Suno 體量和收入領先,2025 年 11 月完成 2.5 億美元 C 輪、估值 24.5 億美元、年營收約 2 億美元;與之並列的還有 Udio、Stability 的 Stable Audio、ACE-Step 等。
-
訓練資料的透明度是繞不開的疑問。在 2025 年初新版本釋出時,有使用者公開詢問 CTO Hayk Martiros 模型訓練資料來源,他未予回應;LANDR 的 AI 音樂專家 Daniel Rowling 據此推測 ProducerAI 並未在獲授權音樂上訓練。被 Google 收編後,Lyria 3 的訓練資料也未被詳細披露,Google 僅表示用的是 YouTube 與 Google「依服務條款、夥伴協議及適用法律有權使用」的音樂,並強調對版權與夥伴協議保持審慎。 這與整個行業的版權高壓相呼應:RIAA 已起訴 Suno 與 Udio 侵權,Suno 雖與華納和解並達成授權合作,仍面臨索尼、環球及歐洲版權組織的訴訟;一眾藝人代表還發表了「Say No to Suno」公開信,指責其稀釋正版藝人版稅池。另一方面,2026 年 2 月 19 日 classic.riffusion.com 關站,舊生成內容、會話與模型全部不可訪問,使用者被要求在截止日前下載作品,引發一批老使用者反彈。對純粹主義者而言,開源版 Riffusion 也已歸檔、實質停更,其短片段、有限音質、無歌詞的侷限讓它早被專用音訊模型甩在身後。
-
它適合獨立音樂人做 Demo 與快速靈感捕捉、內容創作者和廣告公司做可商用的定製配樂、開發者透過 Vibe-code 與 Lyria 3 API 搭建瀏覽器端音訊外掛。對追求完全原創音色、或對 AI 生成持保留態度的人,它未必合拍。若在意訓練倫理,可優先看 Soundraw 這類全程自研曲庫、版權最乾淨的工具;若只想要更「成品感」的歌,Suno 的打磨度通常更勝一籌。
-
Riffusion 用三年多完成從「開源玩具」到「Google 戰略資產」的躍遷,其真正價值不在某一個模型,而在對話式創作正規化與 Google 全棧多模態能力(Lyria 音訊、Veo 影片、Gemini 對話、Nano Banana 封面)的整合。對創作者它是低門檻利器,對錄音棚裡的樂手與製作人則是潛在的替代威脅——而 SynthID 水印恰恰說明 Google 清楚「溯源」會變得越來越重要。
使用者評論
-
lv924bbd—被 Google 收了之後音質明顯上了一個臺階,Lyria 3 Pro 出來的歌已經能直接當短影片 BGM 用了,省了我找曲庫的時間。 -
JWhite—從 Riffusion 到 ProducerAI 再到 Google Flow Music,三年換三個名字,吃瓜群眾都跟不上了,但每次躍遷產品都變強,認了。只是希望 Google 別哪天又砍產品線,經典站那次教訓還在。 -
goldenbutterfly254—訓練資料到底用的啥一直沒說清,CTO 之前被問到也不回,這點讓我有點猶豫要不要拿它做正經發行。還是先用 Soundraw 那種版權乾淨的兜底,畢竟客戶專案惹上版權糾紛可不是鬧著玩的。 -
Patrick.Nelson—當年玩的就是它開源版,5 秒一段的 loop 現在看挺粗糙,但思路真超前,把 Stable Diffusion 搬到音訊上這個點子到現在都新鮮。 -
CHoward168695—和 Suno 比,它的對話式編輯是真方便。我說「副歌鼓點再重一點」,它就只改那段,不用整首重生成。這種來回打磨的感覺才像在創作,不是搖老虎機。 -
TBarnes_77—人聲還是偶爾抽風,有一版主歌好好的,到橋段突然發虛,重試兩次才好。期待 Google 後續把聲碼器再打磨下。 -
Vincent.ScottK—歌詞自然度比早期 AI 音樂強太多,不像某些工具滿嘴「在星空下我們飛翔」的塑膠句,它寫的詞居然有點人味了,還能順著劇情改詞不改旋律,做敘事向的歌特別順手。 -
BRfra—做廣告配樂的,需求方要定製中文臺詞 jingle,一次出三條不同風格,客戶挑著用,交付快了一倍,這錢花得值。不過遇到特別刁鑽的品牌調性,還是得自己進 DAW 再修一輪,當不了完全甩手。 -
JohnWilliams—免費檔給商用權這點太香了,我做口播影片直接拿來當背景音樂,不用擔心 YouTube 版權申訴,SynthID 水印反而讓我更安心。 -
JLong_2023—Stem 分離挺實用,人聲扒出來丟進 Ableton 自己混,等於拿它當靈感起點而不是終點,workflow 順多了。對我這種半吊子製作人,它最大的價值不是替我寫完歌,而是幫我把腦子裡的模糊想法快速變成能改的素材。 -
Victoria.TorresZ—獨立音樂人狂喜,寫歌 demo 從一下午壓縮到十分鐘,拿給樂隊排練直接能聽個大概,溝通成本驟降。以前腦子裡有旋律得趕緊摸吉他錄下來,現在哼一段描述就出成品,靈感的衰減少了一大截,對我這種記譜苦手簡直救命。 -
Virginia987—Spaces 那個 vibe-code 造樂器太上頭了,我用一句話搓了個帶磁帶飽和的暖色 synth,還能分享給別人彈,這功能別家真沒有,等於把合成器開發也 democratize 了。 -
Gary.Lewis_7—免費檔信用點不太經用,天天生成的話兩三天就見底,認真玩還是得開 Starter,一個月六刀倒也不貴,算下來單次成本比買曲庫授權低太多了。 -
Sophia_Coleman_2022—老使用者一枚,2026 年 2 月關 classic 站那次確實肉疼,之前存的 demo 全沒了,還好提前下載了一部分。新平臺強是強,但那種「我的作品說沒就沒」的失控感,讓我對把創作全押在雲端這件事重新掂量了一遍。 -
DonnaGonzalez520—Veo 生成的音樂影片有點 AI 味,一眼假,但當社媒鋪墊素材夠了,總比我自己剪空鏡強。