Granite Speech 5.0:更快更準確的語音轉錄、翻譯與說話者屬性
Granite Speech 5.0 以 5.06% WER 及 19,870 RTFx 速度,成為開源 ASR 最高效模型之一。 - 核心特性:多語言轉錄、翻譯、說話者屬性、關鍵字偏置、標點與大寫。
Granite Speech 5.0 以 5.06% WER 及 19,870 RTFx 速度,成為開源 ASR 最高效模型之一。 - 核心特性:多語言轉錄、翻譯、說話者屬性、關鍵字偏置、標點與大寫。
**Cadence 透過 ElevenAgents 將緊急病患聯絡時間從 1 小時 48 分鐘縮短至 3.5 分鐘,顯示 AI 介入在醫療即時警示中的關鍵效益。
推薦理由:Cadence 透過 ElevenAgents 將緊急病患聯絡時間從 1 小時 48 分縮短至 3.5 分鐘,凸顯即時 AI 介入對醫療安全與效率的實際效益。
Eleven Labs 釋出 Eleven Realtime Translation,一款即時多語音翻譯模型,支援超過 90 種語言。 - 核心特性:使用 Eleven v4 Turbo,低延遲且聲音一致,可選擇 17,500 種聲音或自建聲音克隆。
Voxtral 3 以全新語音代理 SDK 及多語音模型,支援 50+ 語言即時多步對話,並提供 EU 主機 API 或自部署選項。 - 多語言支援:50+ 語言(含 35+ 方言),同時具備自動語者辨識與關鍵詞偏置功能。
本文說明如何使用 ElevenLabs Scribe v2 透過 AI 轉錄 Podcast,並提供完整的工作流程與多種輸出格式。 - 轉錄流程:從匯出音訊、選擇 AI 或人為審核、上傳設定、審稿、輸出格式五個步驟。
Amazon SageMaker JumpStart 於 2026 年上半年已新增 100+ 模型,涵蓋多模態、創意與高效模型,並提供一鍵部署與 Hugging Face 深度連結,顯著降低模型上線成本。
Mercury 3 是目前最強大的擴散式 LLM,速度可達 1,068 tokens/s,並支援 1M token 上下文。 - 效能對比:在多項基準上優於 GPT‑6 Luna 與 Claude Haiku 5.5。
推薦理由:Mercury 3 以 diffusion 模型突破規模與速度,提供 1M 上下文及 1,068 tokens/s 的高效推論,對需要低延遲、長上下文的即時應用具備實際價值。
Deepgram 以 AWS Trainium2 將 Nova-3 語音辨識模型移植並最佳化,提升離線批次推論效能與成本效益。 - 模型與平臺:Nova-3 以 PyTorch 透過 TorchNeuron 轉移至 Trainium2,單個 trn2.3xlarge 內可同時執行 8 個模型複本。
ElevenLabs Scribe v2 是一款針對內容創作者設計的語音轉文字模型,能在數分鐘內完成高精度字幕、稿件與多語翻譯。 - 核心功能:提供單字級時間戳、可匯出 SRT 或 VTT,支援多語言(90+)與多通道(5 通道)或 32 位講者的分離。
summary_zh: 我在 15 週內重新閱讀 175 款 AI 工具的使用條款,發現 60%(105/175) 的工具至少改變一次,影響創作者是否能合法商業化其輸出。
人類接線員在 14,000 通呼叫中轉化率約為 AI 的四倍,顯示即使 AI 能更頻繁接聽,實際業務成果仍偏向人類。 - 轉化率:人類接線員成功轉化約四倍於 AI。
Granite Switch 4.1 透過整合決策、語音與聊天功能,提供單一端點多工能力。 - Granite‑Switch‑4.1‑8B / 30B:內建 Decision aLoRA、Guardian aLoRA 及 Granite‑Speech‑5.0‑Turbo‑CTC(OpenASR 榜首 ASR),可即時切換對話、決策與轉錄。
推薦理由:Granite Switch 4.1 透過整合決策、語音與聊天功能,提供單一端點多工能力,讀者可評估其在實務流程中的效益。
summary_zh: 把舊手機變成 Talking Jack‑O‑Lantern,讓南瓜在萬聖節夜裡自動說話、發光並可切換語音與角色。 - Pumpkin Pass:$4.99,包含所有角色、聲音、顏色以及約 400 則回覆,足以支援整個萬聖節之夜。
summary_zh: Drama 3 由 Fish Audio 推出的文字轉語音模型,現在已在 AI Gateway 上可用,並在 30 天內提供 80% 折扣(至 Nov 12)。
Baroness Campbell 使用 ElevenLabs 的 AI 語音合成技術,在英國國會首次以自己的聲音發表演說。 - 技術實現:利用 ElevenLabs 先進的聲音克隆模型,根據過往錄音重建其聲音,並以文字轉語音生成演說錄音。
summary_zh: 開發者可透過 Web Speech API 在瀏覽器中即時進行語音辨識,無需自行部署 ASR 伺服器。
Atticus 是一款在 macOS 上執行的即時語音助手,使用者只需按住快捷鍵說話,即可控制視窗、搜尋檔案、播放音樂,且不需額外 API 金鑰。 1. 即時控制 開啟應用、移動視窗、搜尋檔案等操作平均 0.08 秒完成。
BetterWispr 是一款免費、開源且離線執行的 Mac 語音輸入工具,支援多語言與會議筆記功能。 - 使用方式:按住 ⌥ Space 或自訂快捷鍵說話,釋放後即在目前應用程式中輸入文字。
Whistle 是一款 16.9 MB 的語音辨識模型,能在單一 CPU 引擎上即時處理七種語言,首詞延遲僅 11 ms。 - 體積與執行:16.9 MB,無需額外依賴,直接載入同一 C++ 引擎,支援 Android、iOS、Windows ARM、RISC‑V、MIPS、瀏覽器及 WASI。
ElevenLabs Scribe v2 提供兩種會議轉錄方式:即時與批次。即時模式透過 WebSocket,輸入音訊即時回傳文字,延遲約 150 ms;批次模式則以 REST API 上傳錄音檔,完成後透過 Webhook 取得結果。
ElevenLabs 現已在 OpenRouter 上提供九款文字轉語音模型與兩款語音轉文字模型,讓已使用 OpenRouter 的應用可直接加入語音功能。
Falcon-ASR 於 2026 年正式發布,為 1.6B 引數的阿拉伯語語音辨識模型,專注於阿聯酋方言,並支援英、法、西、葡四語。- 評測成效:在六套阿拉伯語測試集上平均 WER 20.92%,低於最佳公佈 23.17%。
EmbeddingGemma 2 是 DeepMind 推出的全新多模態嵌入模型,支援文字、影像、音訊、影片與程式碼。 - 引數量:740 M,適合本地推理。
推薦理由:EmbeddingGemma 2 以 740M 引數實現跨模態嵌入,兼顧效能與隱私,適合本地 RAG 與離線搜尋,並提供 8K token 上下文視窗與 6 倍儲存壓縮。
Amazon Bedrock AgentCore、Nova Sonic 與 Managed Knowledge Base 共同打造的語音旅遊管家,可讓旅客透過語音改簽、查延遲、查詢政策並連線真人客服。
推薦理由:示範如何利用 Bedrock AgentCore、Nova Sonic 與 Knowledge Bases 建構可擴充的語音旅遊管家,並提供完整部署指令碼。
對話智慧 是將客戶通話錄音轉錄並透過 AI 解析,產生可追蹤洞察的技術。 - Scribe v2 與 Scribe v2 Realtime 提供批次與即時轉錄,支援 90+ 語言、32 位說話者辨識與實體偵測。
Eleven v4 透過 Audio Tags 讓指令碼中加入停頓變得簡單,提升語音合成的自然度與情感表現。 - Audio Tags:以 [pause]、[long pause]、[whispers] 等文字指令取代 SSML,直接寫入指令碼即可。
推薦理由:本文說明 Eleven v4 透過 Audio Tags 精準控制停頓,提升語音合成自然度,對音訊製作人極具參考價值,亦可應用於廣告與配音領域。
Hugging Face Transformers v5.17.0 正式發布,本次更新擴充多項全新模型架構與重大功能改進,涵蓋多模態、語音識別及混合專家模型支援: - 新模型與架構新增: - HYV4:780B 引數的混合專家(MoE)模型,每 Token 啟動 49B 引數,具備 1M tokens 上下文視窗。
推薦理由:此版本擴充多項新模型架構與語音多模態支援,開發者可藉此評估最新開源模型的整合與升級選項。
語音生成要先處理參考音訊,再逐步產生語音,最後解碼成聲音;把這些工作塞進同一個模型流程,容易遇到速度和記憶體管理問題。MOSI、OpenMOSS Team 與 SGLang-Omni Team 把 MOSS-TTS Local Transformer v1.5 拆成音訊前處理、文字轉語音生成和聲音解碼三個階段,支援邊生成邊輸出音訊。作者也測試了重用參考音訊、加快短音訊解碼等做法;在 SeedTTS 英文測試中,非串流平均每秒處理 5.976 個請求,串流則為 2.909 個,兩種模式的 WER 分別是 1.75% 和 2.14%。這些數字來自特定測試設定,文章也說不同最佳化測試的結果不能直接相加。
推薦理由:文章拆解語音生成服務的三個階段,並以快取、CUDA Graph 與記憶體配置的測試結果,呈現各項調整如何影響速度與串流表現。
語音 AI 助理得在文字還沒說完時就開始回話,還要維持聲音和說話情緒一致。Boson AI 與 SGLang-Omni 團隊宣佈,Higgs Audio v3 TTS 已能透過 SGLang-Omni 即時生成語音;文字一邊送進來,系統就能一邊合成音訊,使用者也能用文字標籤調整情緒、語氣、速度、音高和音效。模型支援 100 種語言,並可用一小段參考錄音跨語言模仿聲音。文章也分享服務速度測試,以及 SGLang-Omni 如何把語音生成拆成多個階段來排程和傳遞資料。
推薦理由:文章比較多階段語音生成與一般模型服務的差異,並說明 SGLang-Omni 如何分段排程、串流傳音訊及管理 GPU 記憶體。
Together AI 透過 TensorRT 多型別引擎、CUDA Graph 以及共享記憶體等技術,打造出全球最快的語音辨識堆疊,能在 10 秒內完成約 20 小時的語音轉錄。
Diffusers 0.38.0 釋出多項新功能,擴充影像、音訊與文本生成管線,並最佳化核心庫效能。
推薦理由:Diffusers 0.38.0 釋出多樣化的影像、音訊生成管線與核心效能最佳化,開發者可直接整合至現有工作流程。
Together AI 推出全新的統一即時語音代理解決方案,將 STT、LLM 與 TTS 整合於同一雲端叢集,實現低於 500 毫秒的端到端延遲。 - 低延遲:整合後端到端延遲 < 500 ms,支援自然對話。
summary_zh: Steve Moraco 利用 Replit 建立了 DATA,一款以 ChatGPT 取代 Siri 的個人化 AI 助手。 - 成長指標:DATA 以 Replit Deployments 快速擴張,達到 $18k MRR、800 付費訂閱者與 100k+ 觀察次數,最終實現 $216k ARR。