跳到正文
aihot(aihot.news)· noreply@aihot.news (Google Developers Blog)·· 13 天前精選品質評分74

Google AI Edge Gallery 新增端側語音辨識與語音合成功能

Google AI Edge Gallery 新增端側語音識別與語音合成能力

重點導讀

Google 在 Google AI Edge Gallery 新增端側自動語音辨識(ASR)與文字轉語音(TTS),可搭配端側小型語言模型,打造離線語音互動應用。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

文章比較 ML Kit、MediaPipe Tasks 與 LiteRT 的端側語音建置路徑,並提供延遲、語言涵蓋與模型規格,便於開發者評估平臺選擇。

正文

Google Developers Blog·2026-11-10 00:00· 1 天前精選AI 評分71

On-Device Speech Recognition and Text-to-Speech in Google AI Edge Gallery

AI 導讀

Google 在 Google AI Edge Gallery 中推出端側 ASR 與 TTS 能力,可與 Gemini Nano、Gemma 4 等端側 SLM 組成完全離線的語音互動管線。

推薦理由

原文給出端側語音管線的具體延遲、語種和模型引數資料,開發者可以據此評估離線語音方案對自家 App 的可行性。

2026年11月10日

今天,我們在 Google AI Edge Gallery 中推出端側自動語音識別(ASR)和文本轉語音(TTS)能力。在手機和可穿戴裝置上與 AI 互動,語音往往是最自然的方式。緊湊型語音架構的最新進展,使得完全在裝置端執行準確、多語言 ASR 和富有表現力的 TTS 模型成為可能,而且記憶體佔用小、延遲低、完全離線。將這些輕量級語音模型與 Gemini Nano、Gemma 4 等端側小語言模型(SLM)搭配,開發者就能構建出在使用者說話時即時流式轉寫、並在本地合成自然語音回覆的應用。

本次釋出彙集了 Google 系統語音模型和開放權重生態兩方面的重大進展:

  • Android:藉助 ML Kit 實現更快、更準確的系統語音模型: 由 Google 最新的端側語音模型驅動,ML Kit 能以 10 倍即時速度,對 100 多種語言進行極其準確的多語言轉寫。與之搭配的是少步擴散 TTS 模型,僅約 100 毫秒即可開口說話,並以最高 50 倍即時速度合成 24 kHz 音訊。兩個模型都已整合到作業系統中,不會給你的 APK 增加 0 MB 體積。
  • Web、桌面及其他平臺:藉助 MediaPipe Tasks 和 LiteRT 實現跨平臺、開放權重的語音能力: 針對跨平臺應用,我們優化了新的 .litertlm 模型語音包,包括 Parakeet-TDT 0.6B、PocketTTS 100M、Kokoro-82M 和 Phonon 31M。它們能在緊湊的記憶體佔用下提供即時流式轉寫和低延遲語音合成,並與端側 SLM 順暢並行執行,不會出現算力爭搶。

下面我們將介紹這條本地語音流水線如何支撐全新的XR(擴充套件現實)語言教師演示、如何升級 Google AI Edge Gallery 中的AI 聊天,以及你如今如何用這些 API 和模型進行開發。

用 XR 語言教師實現多模態語音輔導

旅行中學語言發生在真實世界裡,常常是在地鐵站、熱鬧的市場或國外,那裡可能沒有 Wi-Fi 和漫遊資料。為了展示視覺、語言和語音模型如何100% 在手機上本地協同工作、無需網路連線,我們在 Google AI Edge Gallery 中構建了XR 語言教師演示。只需把攝像頭對準不認識的物品或選單,問一句“那是什麼,我該怎麼要一個?”,就能立刻聽到用你的語言給出的解釋,以及地道的當地語言發音。

完全在裝置上完成看、說、學

  • 即時視覺定位與流式語音輸入: 把攝像頭對準路牌、選單或物品,然後大聲提問。端側 ASR 會將你的口頭問題與攝像頭畫面一起即時流式傳輸給 Android 裝置上的 Gemini Nano——或其他平臺上的 Gemma 4——一次完成處理。
  • 結構化輸出實現雙語 TTS 語碼轉換: 藉助結構化輸出 schema,模型用你自己的語言解釋場景,同時單獨標記外語短語,讓 TTS 流水線能在句子中間無縫切換聲音和口音,從你的母語切換到目標語言,並在螢幕上同步顯示詞彙卡片。

適配智慧眼鏡

推理在配對的手機上本地執行,因此同一套體驗既能獨立在手機上使用,也能自然延伸到擴音智慧眼鏡上。想了解我們如何為智慧眼鏡改造 Language Teacher,歡迎觀看我們最近在 Android Dev Summit 上的演講:Building Audio-First Experiences for Intelligent Eyewear with Gemini Nano。

AI Chat 中的流式語音聽寫與朗讀播放

除了 XR Language Teacher 展示之外,我們還將 ASR 和 TTS 直接整合到 Google AI Edge Gallery 的主 AI Chat 功能中,讓 Gemini Nano、Gemma 4 等端側 SLM 在移動場景下擁有自然、離線的語音互動介面。

AI Chat 語音輸入與輸出演示影片

句子同步播放與可配置的語音設定

  • 模型管理中的 ASR 與 TTS 設定:在一個集中位置選擇可用的 ASR 和 TTS 流水線、預設音色以及已下載的語言包。
  • 朗讀播放與即時句子高亮:開啟“自動播放 TTS”,或點選任意回覆上的揚聲器按鈕,即可調出懸浮的 TTS 工具欄,即時高亮當前朗讀的句子,點選任意句子還能跳轉過去。
  • 聊天語音輸出的參考實現:我們的開原始碼庫演示瞭如何剝離 Markdown 語法、跳過程式碼片段和表格等不朗讀的內容塊,並按句子排程合成,避免在 LLM 生成 token 期間出現算力和記憶體爭用。

深入底層:用 ML Kit、MediaPipe Tasks 和 LiteRT 構建

Gemma 4 這類多模態模型可以直接處理音訊輸入,但我們仍提供模組化方案,用獨立的輕量語音模型級聯語言模型,以最佳化延遲並保持靈活性。根據目標裝置和模型需求,我們在 GitHub 上的開原始碼給出了 Android 端的最佳化推薦方案(使用 ML Kit),以及面向跨平臺覆蓋和開放模型支援的 MediaPipe Tasks 與 LiteRT 方案。

用 ML Kit 為旗艦 Android 裝置構建

面向 Android 裝置的開發者,ML Kit 的 GenAI 語音識別與文本轉語音 API 提供了一條開箱即用、與平臺深度整合的標準化路徑。底層語音模型由 AICore 和 Google 的端側語音服務管理,開發者無需自行管理模型下載,也不必擔心 APK 體積膨脹,就能獲得生產級質量。應用還能自動享受 NPU 和 TPU 後端(如可用)的硬體加速,以及無縫的後臺模型更新。

  • ML Kit GenAI 語音識別 API:在使用者說話時流式輸出即時部分轉寫和最終轉寫,音訊來源可以是裝置內建麥克風,也可以是智慧眼鏡等外部音訊流。我們最新的端側 ASR 進展實現了覆蓋 100 多種語言的高精度多語種識別(在 FLEURS 上詞錯誤率為 8.0% 至 9.0%),轉寫速度比被轉寫的即時音訊快 10 倍(每 3 秒語音約 300 毫秒),並將端到端語音翻譯的等待時間縮短了 35% 至 44%。
  • ML Kit GenAI 文本轉語音 API:由緊湊的少步擴散模型驅動,並在 NPU 上加速,端側 TTS 約 100 毫秒即可開口,能以最高 50 倍即時速度生成自然的 24 kHz 語音,覆蓋 8 種富有表現力的音色和 21 種語言區域。合成一段 27 秒的段落只需約 500 毫秒,同時相比傳統自迴歸 TTS 模型,裝置活躍功耗降低 50% 以上,並內建耳標(earcon)支援。

用 MediaPipe Tasks 跨平臺構建

把 ASR 和 TTS 整合到跨平臺應用,通常要處理底層音訊分幀、語音活動檢測(VAD)和複雜的解碼流水線。MediaPipe Task 簡化了這些工作:它在 iOS、macOS、Windows、Linux 和 Web 上提供統一、開箱即用的 ASR 與 TTS API,把手動預處理、音訊流路由和平臺特定的音訊管理都封裝進簡單的高層介面:

  • MediaPipe 語音識別(ASR)Task:自動處理音訊分幀、可配置的語音活動檢測(VAD)和解碼。支援即時流式、整句批次和混合轉寫模式(使用者說話時即時輸出詞,語音結束後再精修整句),並開箱即用展示 Parakeet-TDT 0.6B 等開放權重模型。現在就在瀏覽器裡試試!
  • MediaPipe 文本轉語音(TTS)Task:提供開箱即用的合成介面,支援音色選擇和低延遲流式音訊輸出,開箱即用展示開放權重模型,包括 PocketTTS 100M、Kokoro-82M 等多語言模型,以及 Phonon 31M 這類超輕量英語模型——在大多數裝置和平臺上,首音訊時間(TTFA)不到 100 毫秒。現在就在瀏覽器裡試試!

用 LiteRT 驅動跨平臺語音與靈活的模型支援

在底層,ML Kit 和 MediaPipe Tasks 由 LiteRT 驅動,這是 Google 的高效能端側 AI 推理基礎設施。如果跨平臺應用需要對語音處理或自定義模型架構做更細粒度的控制,也可以直接基於它來構建。

語音模型往往依賴多個子圖和輔助資源,例如 ASR 的編碼器/解碼器子圖和分詞器,或 TTS 的音素化詞典、音色嵌入和聲碼器。每個模型所需的全部元件都打包進單個 .litertlm 檔案,方便部署。應用自帶可直接使用的 .litertlm 模型,包括 Parakeet-TDT-0.6B-v3(多語言 ASR)、PocketTTS 100M(多語言 TTS)、Phonon 31M(超輕量英語 TTS)和 Kokoro-82M(多語言 TTS)。除此之外,擁有 1 萬+ 關注者的活躍 Hugging Face LiteRT 社群還提供不斷擴充的開放權重模型目錄,例如用於 ASR 的 Whisper、Qwen3-ASR 和 Moonshine,或用於 TTS 的 Qwen3-TTS 和 Matcha。對於想要自定義實現或支援更多開放權重語音模型的開發者,LiteRT 提供了豐富的多模態模型示例幫助你上手,後續還會有更多。

立即開始

加入本地語音管線後,裝置端小模型(SLM)不再侷限於打字聊天介面,而能實現自然、語音優先的互動,隨時隨地可用,且完全離線。今天,所有構建模組都已就緒,你可以直接體驗這些功能,或把它們整合到自己的應用中:

致謝 (按字母順序)

我們特別感謝以下 重要貢獻者 在本專案中的付出:

Alice Zheng, Ajay Dudani, Alex Kanaukou, Amy Zeppenfeld, Byungchul Kim, Cheng Yang, Chintan Parikh, Chris Parsons, Cormac Brick, David Chou, Dong Chen, Geonsun Lee, Glenn Cameron, Hriday Chhabria, Ian Ballantyne, Ireneu Pla, James O’Donnell, Jamieson Pryor, Jason Poon, Jenn Lee, Jianing Wei, Jing Jin, Jingxiao Zheng, Jingyu Shi, Karthik Thirumalai, Kristen Wright, Lu Wang, Marius Kintel, Matthias Grundmann, Miao Wang, Mogan Shieh, Na Li, Paul Hsia, Qiumin Xu, Ravi Shankar, Rishika Sinha, Ronald Wotzlaw, Sachin Kotwani, Sandeep Patil, Sebastian Schmidt, Shao-Fu Shih, Shuangfeng Li, Suril Shah, Tiger Souvannakoumane, Tzu-Ping Chen, Weiyi Wang, Wentao Tu, Yang Yang, Yi-Chun Kuo, Yishuang Pang, Yu-che Liu, Yu-hui Chen, Yuling Liang, Zhihao Yang, Zichuan Wei.

上一篇

下一篇

來源:Google Developers Blog · developers.googleblog.com

來源: aihot (aihot.news)
開啟原文

讀者討論

理性交流 · 即時討論