跳到正文
aihot(aihot.news)· noreply@aihot.news (Zyphra Research)·· 14 天前精選品質評分71

Zyphra 發布開源 TTS 模型 ZONOS3-Mini,可在手機瀏覽器即時執行

Zyphra 釋出開源 TTS 模型 ZONOS3-Mini,可在手機瀏覽器即時執行

重點導讀

Zyphra Research 發布開源 TTS 模型 ZONOS3-Mini,採用稀疏 MoE 架構,總引數 8 億、活躍引數 1 億,支援零樣本語音克隆與裝置端即時生成。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章以端側延遲、模型規模與開源模型排名呈現 ZONOS3-Mini 的定位,也說明其語音控制能力與評估依據。

正文

Zyphra Research·2026-11-09 00:00· 1 天前精選AI 評分65

ZONOS3-Mini

AI 導讀

Zyphra 釋出 ZONOS3-Mini,一個 Apache 2.0 開源的零樣本語音克隆 TTS 模型,採用稀疏 MoE 架構,總引數 8 億、活躍引數 1 億,在 Pixel 9 瀏覽器端 Time To First Audio 低於 570 ms,在 M3 MacBook Air 上低於 150 ms。

推薦理由

原文給出引數規模、端側延遲和評測排名等具體資料,讀者可以評估這個開源 TTS 模型在語音克隆和控制能力上的實際定位。

隆重推出 ZONOS3-Mini:一款緊湊的零樣本語音克隆文本轉語音(TTS)模型,效能達到業界領先水平,並具備領先的語音控制能力,可在裝置端即時執行。

引言

我們很高興地宣佈推出 ZONOS3-Mini,這是我們新一代的即時文本轉語音(TTS)模型,支援高保真語音克隆。ZONOS3-Mini 是一個稀疏混合專家(MoE)模型,啟用引數 1 億、總引數 8 億,採用 Apache 2.0 許可。我們使用 112 塊 Nvidia H100 訓練 ZONOS3-Mini,耗時 2.5 天。你可以在 Zyphra Inference 上訪問它(由 Nvidia H200 提供算力),也可以在自己的 GPU 上執行,或直接在瀏覽器中於裝置端使用。

在 ZONOS2 上,我們已經證明:通過為 TTS 採用 MoE 架構,可以緩解質量與推理效能之間的取捨。但 ZONOS2 為此付出了 8B 引數的代價,其編解碼器執行在 86 Hz,限制了模型的部署。ZONOS3-Mini 通過在技術棧的多個層面實現大幅效率提升,繞開了這些限制。

得益於其小巧的體量,ZONOS3-Mini 可以執行在眾多裝置上。我們釋出了面向瀏覽器的 WebGPU 執行時、面向伺服器的 SGLang 和 vLLM 執行時,以及通過 GGML 提供的眾多其他執行時。ZONOS3-Mini 可即時執行:在 Pixel 9 的瀏覽器中,首包音訊時間(Time To First Audio)低於 570 ms;在 M3 MacBook Air 上低於 150 ms。

此外,推理伺服器還支援對身份、口音、音質、情緒和表達方式進行控制。詞級表達控制一方面通過在流式生成過程中監控對齊注意力頭來實現,另一方面可在生成後藉助編輯模型單獨完成。我們鼓勵你試聽相關章節中的示例。

ZONOS3-Mini 的模型權重已在 Hugging Face 上釋出,我們的執行時可在 GitHub 上獲取。

模型對比

我們使用全新的 ZTTS2-Eval 基準(下文將詳細介紹),對 ZONOS3-Mini 與多款業界領先的閉源和開源模型進行了定性比較。這些結果涵蓋了模型生成內容的可懂度、音質、語音克隆表現和韻律變化。

我們認為,評估 TTS 模型的最佳方式是定性地試聽生成的樣本。為此,我們提供了一系列 ZONOS3-Mini 樣本,以及來自同類開源和閉源 TTS 模型的輸出:

定性對比

預告片配音

“我絕不能過擬合。過擬合是模型殺手。過擬合是那微小的損失,卻帶來徹底的泛化失敗。我將直面我的損失。我將允許梯度反向穿過我、流經我。當它完成傳播,我將轉動驗證之眼,看清它的路徑。損失所到之處,必有收斂。唯有學到的表徵留存。”

Zyphra

Fish Audio

Qwen

Cartesia

ElevenLabs

OmniVoice

《公園與遊憩》男

“你洩露測試集?直接進監獄。不做驗證,什麼都沒有。資料科學家,我們專門給資料科學家準備了監獄。過擬合?進監獄!欠擬合?也進監獄!過擬合、欠擬合。你歸一化了訓練資料卻沒歸一化測試資料?馬上進監獄。你在排行榜上調超引數?信不信由你,進監獄!明明只是邏輯迴歸你卻叫它 AI?進監獄!決策樹就能解決的問題你偏要用神經網路?進監獄!忘了設隨機種子?進監獄!設了種子卻沒記錄實驗?也進監獄!在不平衡資料集上說‘模型準確率 99%’?直接進監獄!上線卻不監控漂移?立刻進監獄。”

Zyphra

Fish Audio

Qwen

Cartesia

ElevenLabs

OmniVoice

Dwarkesh

“我覺得有意思的是,它已經沒有這類模型那種合成感、那種敷衍的腔調了。感覺真的像在跟人說話,對吧?而且 M.O.E 這套東西可能確實起了很大作用。你能感受到一個大得多的模型,同時又有著出色的即時效能。”

Zyphra

Fish Audio

Qwen

Cartesia

ElevenLabs

OmniVoice

定量對比

ZONOS3-Mini TTS Pareto Frontier
ZONOS3-Mini 與同類開源 TTS 模型在延遲(TTFA)和吞吐量(tok/s)上的帕累托前沿。

控制示例

音色設計

每組對比中,A、B、C 使用完全相同的文本。這 15 個樣本在嵌入模式下使用同一位旁白參考音色,採用中性表達。性別和音色質感兩組使用種子 27182,其餘各組使用種子 2027。只有列出的設計控制項發生變化。這些設定是生成目標;感知特徵和說話人一致性應通過試聽來評估。

1. 同一說話人,三種口音

“我把車停在水邊,就在咖啡店過去一點。四點半之後我在那兒等你。”

注意聽發音的變化,同時音色仍能辨認出是同一位說話人。英格蘭控制項用於近似模擬南英格蘭英語目標。

通用美式英語

中性基礎音色

南英格蘭英語目標

  • british1.5

澳大利亞英語

  • australian1.5
Accent map with the original voice marked, no accent steering applied
A通用美式英語
Accent map steering toward England at british 1.5
B南英格蘭英語目標
Accent map steering toward Australia at australian 1.5
C澳大利亞英語

2. 同一音色,不同年齡

“我在樓上的箱子裡找到了那臺舊相機。裡面還剩一張照片,那咱們就拍張好的。”

注意聽音色質感和共鳴帶來的感知年齡變化。這些年齡是目標值,不是實測年齡。

青年目標 25 歲

  • age−1.5

中年目標 45 歲

中性基礎音色

老年目標 75 歲

  • age+1.5
Age control moving younger to age -1.5
A青年目標 25 歲
Age control at the neutral base voice
B中年目標 45 歲
Age control moving older to age +1.5
C老年目標 75 歲

3. 性別呈現

“下一班火車十分鐘後開。我們剛好夠時間買杯咖啡再找座位。”

注意聽共鳴、質感和音高的變化,同時基礎說話人、口音和表達方式保持不變。中間檔性別設定的目標是中性化呈現。

男性化

  • gender−1.5

中性化

  • gender−1

女性化

中性基礎音色

Gender control moving to gender -1.5
A男聲
Gender control moving to gender -1
B中性
Gender control at the neutral base voice
C女聲

4. 音質

“木盒子在最上層架子上,綠色瓶子和黃銅小鐘旁邊。”

注意普通說話音量下音質的適度變化。柔和音質接近氣聲;沒有專門的氣聲控制。

清晰平滑

中性基礎音色

輕微氣聲近似

  • 柔和+5

輕微沙啞

  • 沙啞+5
Texture radar at the neutral base voice
A清晰平滑
Texture radar moving toward soft at +5
B輕微氣聲近似
Texture radar moving toward raspy at +5
C輕微沙啞

5. 用多個控制項組合角色

“地圖到這裡就結束了。翻過那道山脊,就得靠我們自己找路了。”

注意年齡、性別呈現、口音和音質是否共同呈現出三種截然不同的角色選擇。

年輕澳大利亞女聲

  • 年齡−1.5
  • 明亮+2.25
  • 澳大利亞口音1.5

中年美國男聲

  • 性別−1.5
  • 低沉+3

年長英國女聲

  • 年齡+1.5
  • 柔和+2.25
  • 沙啞+1.5
  • 英國口音1.5
Cast A identity: age moving younger to -1.5
A角色
Cast A accent: steering toward Australia at 1.5
A口音
Cast A texture: bright moving to +2.25
A音質
Cast B identity: gender moving to -1.5
B角色
Cast B accent: original General American, no steering
B口音
Cast B texture: deep moving to +3
B音質
Cast C identity: age moving older to +1.5
C角色
Cast C accent: steering toward England at 1.5
C口音
Cast C texture: soft +2.25 and raspy +1.5
C音質

表達控制

這 15 個樣本保持旁白參考說話人和口音不變。耳語片段組使用種子 22361;其他表達組使用種子 2027。除非指定了詞語片段,否則控制整句表達。每組 A/B/C 使用相同文本,便於直接比較表演變化。

6. 在片段上耳語

“我沒說她拿了鑰匙。”

B 針對“我沒說她”和 C 針對“她拿了鑰匙”進行區域性耳語控制(+4)。中性版本使用相同句子和種子。

中性

中性基礎音色

開頭耳語

針對“我沒說她”

  • 耳語+4

結尾耳語

針對“她拿了鑰匙”

  • 耳語+4

7. 同樣的話,三種情緒意圖

“你回來了。我還以為你不會來。我在這兒等了一整晚。”

注意對同一情境的不同演繹。這些是情緒目標;控制項並不保證特定情緒,也不保證語速和投射感完全獨立變化。

溫暖的寬慰

  • 高興+3.5
  • 喚醒度+1

剋制的憤怒

  • 憤怒+3.5
  • 喚醒度−1

緊張的憂慮

  • 害怕+8

8. 保持清晰的同時調整語速

“下一班列車七點三十從四號站臺發車。請在登車前準備好車票。”

注意在保留每個詞的前提下呈現清晰的速度範圍,尤其是站臺號和發車時間。語速控制也可能影響響度和音高。

緩慢從容

  • 語速−2

日常語速

中性基礎音色

快速輕快

  • 語速+2

9. 投射感:從近處到房間另一頭

“你能聽到我嗎?我就在這兒,門旁邊。跟著我的聲音走,我會等你。”

注意聽呼吸、共鳴、發聲力度以及響度的變化。整段音訊的情緒目標保持平靜。

輕柔親密

  • 投射−3

對話式投射

中性基礎音色

隔屋呼喚

  • 投射+3

10. 生動度:從剋制到活潑

“盒子裡有一把銀鑰匙、一張摺疊的地圖,還有一個小門鈴。我自然按了下去。”

注意聽音高變化、節奏趣味和富有表現力的措辭是否增強。生動度調節也會影響音高水平和時長。

剋制

  • 活潑−8

自然講故事

中性基礎音色

高度生動

  • 活潑+8

訓練與架構細節

在 ZONOS3-Mini 上,我們在編解碼器、架構和說話人編碼器層面都做了大幅改進。

第一項重大改進在表示層面。Descript Audio Codec(DAC)雖然保真度極高,但極難建模,而且幀率高達 86 Hz,限制了即時語音生成。為解決這些問題,我們訓練了自己的編解碼器 Zyphra Audio Codec 1(ZAC-1)。在相近的資料約束下,用 ZAC-1 訓練的模型詞錯誤率比用 DAC 訓練的模型降低 10 倍,同時聲學相似度更好。與 S1-DAC、MOSS v2 等主流 TTS 編解碼器相比,它在更高壓縮率下取得相當的結果,或在相近壓縮率下取得更好的結果。這得益於它為 TTS 主幹模型提供了更利於建模的表示。

第二,我們整合了 LLM 領域發展出的架構改進。ZONOS3-Mini 的序列混合器採用 Gated DeltaNet(GDN)與全域性注意力 3:1 的混合結構,幫助我們在更長上下文長度下實現更強效能和更高吞吐量。我們還集成了潛在 MoE、Q balancing 和 Attention Residuals,在我們這一模型規模下顯著提升了效能。

第三,我們把聲音表示從 Qwen3-TTS 說話人編碼器換成了 MECT-B2 說話人驗證模型。這既提升了下游說話人相似度,也讓說話人操控更易處理。ZONOS3-Mini 支援兩種說話人條件模式。第一種模式在預訓練階段就用上下文中的單獨片段從頭訓練,輸出更自然,代價是不能精確複製韻律。第二種模式使用目標片段的直接聲音表示,在預訓練後經過一個短階段微調。

最後,我們引入了兩個後訓練階段,先使用直接偏好最佳化(DPO),再使用 Group Relative Policy Optimization(GRPO)來增強魯棒性。

評估

繼此前釋出 ZTTS1-Eval 之後,我們現在釋出 Zyphra TTS Evaluation v2(ZTTS2-Eval)。ZTTS2-Eval 將 ZTTS1 的乾淨集擴充套件到 35 種語言,將真實場景集擴充套件到 20 種語言,且每種語言的樣本數都更多。在低資源語言以及 Qwen TTS 模型佔優的英語上,我們用 Whisper Large v3 補充 Qwen3-ASR。ZTTS1-Eval 中使用的 TTSDS2 韻律指標已被取代,改用新的節奏和音高分佈匹配指標,以及調整後的 Masked Prosody Model 嵌入距離,並加入打亂輸入的下限,從而擴大了模型之間的跨度範圍。

隨著指標數量的增加,尤其是跨語言和跨條件的指標,我們基於 Epoch Capability Index,採用專案反應理論對 420 個專案(指標 × 測試集 × 語言)建模,每個專案都有各自的難度和斜率,據此推出了全新的 Zyphra TTS Capability Index v1。ZONOS3-Mini 在開源模型中排名第一,緊隨其後的是 Fish S2 Pro 和 MOSS TTS v1.5。

可控性

除了業界領先的可懂度和說話人相似度,ZONOS3-Mini 還能對說話人身份和表達方式進行廣泛控制。我們的控制維度覆蓋年齡、性別、口音和音質等身份特徵,通過說話人嵌入向量實現,並針對口音專門使用任務向量。語速、情感、投射感和生動度等表達控制則通過啟用引導(Activation Steering)實現。除了在話語層面進行引導,我們還利用注意力中學習到的對齊頭,在詞級別上引導表達。此外,我們基於 VoiceCraft 方案發布了一個編輯模型,讓使用者能夠像普通生成一樣無縫修改句子,並享有同樣的控制能力。

推理

為了服務 ZONOS3-Mini,我們通過 SGL 提供首日支援。此外,我們還發布了原生 C++/ggml 執行時以及 WebGPU 執行時,讓 ZONOS3-Mini 可以執行在從頂級伺服器 GPU 到多年前的老款手機等各種裝置上。

來源:Zyphra Research · zyphra.com

來源: aihot (aihot.news)
開啟原文

讀者討論

理性交流 · 即時討論