#語音
RSS 訂閱#語音
RSS
Together AI@togethercompute品質評分3535
llama.cpp Releases品質評分5555 llama.cpp b12619 加入 Hibiki 即時雙向語音支援
llama.cpp 這次更新加入對 kyutai/hibiki 即時雙向語音的支援,也修正了 Hibiki 雙向語音功能並改善長時間使用時的品質。更新還補上 Metal 對 Moshi 架構中幾種運算融合的測試基準。
Hugging Face Transformers Releases精選品質評分6666 Hugging Face Transformers v5.24.0 加入多種模型支援並調整快取名稱
要在 Transformers 裡使用新模型,或讓不同模型共用一套程式,開發者常得處理各自不同的介面。v5.24.0 加入 Inkling 2 Mini、Apertus 1.5、Dory 和 Omnilingual ASR 等模型支援,也把原本依模型而異的 past_key_values 和 cache_params 統一改叫 cache;舊名稱目前仍可使用,但會出現棄用提醒。這次更新也修正了文字串流在中文、日文和韓文內容中可能漏空格或變慢的問題。
推薦理由:Transformers v5.24.0 一次加入多種模型支援,也統一了快取名稱;更新內容能幫開發者掌握新模型接入與舊程式需要調整的地方。
Google Research精選品質評分7070 Google 把 Duplex 電話功能帶進 Gemini Tasks,替使用者聯絡商家
訂位或預約常得打電話,商家可能臨時改口、提出別的時段,電話環境也常有背景雜音。Google 將 Duplex 整合進 Gemini App 的 Tasks,讓它能代替使用者打電話處理日常事務,並用 Gemini 理解需求、安排步驟和接續對話。這套系統從只能處理固定任務,逐步發展到能依文字描述應付不同需求,例如配合行事曆空檔安排汽車保養。每通電話一開始都會說明是 Google 的自動化系統,商家也能選擇不接這類電話。
推薦理由:Duplex 從固定任務的專用模型,逐步演進為由 Gemini 統整理解、規劃與對話的系統,呈現它如何處理電話中的臨場變化。
ElevenLabs Official Blog品質評分3939 Fundación Televisa 如何用 ElevenAgents 訪談超過 1,000 位創業者
POSiBLE 要公平挑選創業者,得先逐一瞭解他們的生意,但申請人多,安排訪談很花時間。Fundación Televisa 把 ElevenAgents 接到 POSiBLE 的網站,讓申請者隨時用語音介紹營收、客戶等情況,通話結束後就能收到回饋。訪談平均約 5 分鐘,這次共訪談 1,036 人,最後選出 70 個團隊參加培訓營。AI 助理讓創業者能配合自己的時間完成訪談,也幫團隊處理大量對談;受訪者仍由 POSiBLE 團隊挑選,AI 沒有取代工作人員。
ElevenLabs Official Blog精選品質評分6262 ElevenLabs 示範用 ElevenAgents 和 Architect 打造醫療預約提醒 AI 助理
診所人工提醒病人很難大量處理,簡訊和傳統語音選單也不容易確認身分或直接改約。ElevenLabs 示範用 ElevenAgents 和 Architect 建立外撥提醒 AI 助理:先核對病人的生日,再從電子病歷讀取預約,讓病人確認、改期或取消;若接到語音信箱、病人要求停止來電,或需要真人協助,也有相應流程。文章記錄了模擬測試和實際通話中發現的問題,包括未核對身分就透露預約資料、編出不存在的改期時間,以及 EHR 寫入時遺失資料。作者也提醒,測試全數通過仍不代表實際寫入正確,應讀回資料確認。
推薦理由:文章呈現從工作流程設定、模擬測試到實際通話與 EHR 寫入的建置過程,也指出測試未涵蓋的資料遺失問題。
llama.cpp Releases品質評分5050 llama.cpp b12590 加入 drama3 聲音複製支援
llama.cpp 這次更新讓 fish_s2_spkenc 也能用在 drama3,把參考音訊轉成模型可使用的資料,並透過 drama3 的語音流程產生聲音。使用者提供參考音訊時,系統會把其中的音訊資料送進模型;呼叫端提供下一段音訊的程式碼時,也能用來引導生成。這讓 llama.cpp 能處理 drama3 的聲音複製流程,並新增讀取生成狀態中參考音訊程式碼的方式。
Together AI@togethercompute品質評分4444
Together AI Official Blog精選品質評分7373 Together AI 開放使用 Qwen3 TTS,可調整語氣並串流生成語音
把文字變成語音時,開發者可能希望調整說話情緒、維持熟悉的聲音,也讓語音更快開始播放。Together AI 現在提供 Qwen3 TTS,可從 9 種預設聲音中挑選,再用簡短文字改變說話方式;每種聲音都支援 10 種語言。串流時,第一段音訊最快可在 97ms 後送出,文字若還在逐步產生,也能透過 WebSocket 分段送入。服務費用是每 1M 個字元 $20;Qwen 建議使用聲音原本的語言,以取得較好的品質。
推薦理由:文章整理了 Qwen3 TTS 在 Together AI 的語音控制與串流方式,並說明不同語言的聲音品質可能因預設聲音而異。
Artificial Analysis@ArtificialAnlys品質評分4747
Artificial Analysis@ArtificialAnlys品質評分3636Vercel Blog品質評分5151 OpenAI 發布 GPT-Live 1.1,Vercel AI Gateway 已可使用
AI 助理講話時,使用者有時需要插話或補充細節。OpenAI 的 GPT-Live 1.1 可以一邊說話一邊聽,也能讓來電者打斷或補充內容;相較前一版,它的語音轉文字更準確,跨語言時的口音和聲音也更一致。這個模型已能透過 Vercel AI Gateway 使用,原本串接 GPT-Live 的程式只要換成新的模型 ID。若開啟代辦功能,AI 助理可以請其他文字模型幫忙,再把結果轉成語音;這些代辦請求會另外計費,而語音工作階段在代辦執行期間仍會繼續計費。
AWS Machine Learning Blog精選品質評分6666 Amazon Polly 開放語音複製,幾分鐘錄音就能建立品牌聲音
客服、教材或廣告常需要同一種聲音,改稿時若要重新錄音也很花時間。Amazon Polly 現在提供語音複製功能,取得說話者同意後,使用 1 到 10 段錄音就能建立克隆語音,通常需要 5 到 10 分鐘,之後可用來朗讀新文字。功能支援英文、西班牙文、德文、法文、義大利文、葡萄牙文和印地語,每個聲音只會說錄音使用的語言。語音會加密並限制帳戶存取,合成音訊也會加上浮水印;建立語音免費,使用時按量收費。目前須先取得帳戶使用許可權。
推薦理由:Amazon Polly 可用幾分鐘錄音建立指定語言的克隆語音,並透過 API 用於客服、教材與遊戲等情境;文章也交代同意確認、許可權控管和刪除方式。
ElevenLabs Official Blog品質評分5050 Candid Health 用 ElevenAgents 自動打電話查保險理賠問題
保險理賠被拒時,醫院的帳務人員得打電話查原因,一通可能花上 10 分鐘到 1 小時。Candid Health 用 ElevenAgents 打電話詢問保險公司,找出拒賠原因和接下來該怎麼處理;一開始就處理了 12,860 通電話,替員工省下超過 850 小時,並成功解決 59% 的試辦電話。像是查出醫療人員在看診當天沒有完成保險公司的資格登記,修正這類問題就能避免後續理賠再被拒。客服和帳務團隊也能自己調整、測試 AI 助理,讓工程師專心處理系統穩定和擴充。
AWS Machine Learning Blog品質評分5858 PolyAI Dialog-RSN-1 登上 Amazon SageMaker JumpStart,可部署到自己的 AWS 帳戶
處理即時客服電話時,模型要聽懂來電者的話,也得及時回答。PolyAI 的 Dialog-RSN-1 現在可透過 AWS Marketplace 或 Amazon SageMaker JumpStart 部署到自己的 AWS 帳戶,直接聽取電話音訊並即時回應,不必先轉成文字再交給另一個模型處理。部署後,通話音訊和逐字稿留在使用者控制的環境中;團隊也能依需求選擇偏重回應速度、處理量、成本或平衡的設定檔。模型目前只支援英文,連線最長為 30 分鐘。
ElevenLabs Official Blog精選品質評分7171 ElevenLabs 推出醫療版 ElevenAgents,協助處理病患與醫療團隊來電
病患打電話預約或詢問資料時,若 AI 助理聽錯藥名、插話,或無法連上院方系統,事情就得重來。ElevenLabs 推出醫療版 ElevenAgents,搭配 Scribe v3 Live Medical 即時辨識醫療用語,也能接上預約、病歷和電話系統;遇到症狀問題或敏感資料,團隊可設定轉給真人處理。Cadence 使用這套服務聯絡慢性病患者後,聯絡到患者的中位時間從近兩小時降到 3.5 分鐘;患者接聽 AI 助理來電的比例也比接聽護理師來電高 47%。
推薦理由:文章以醫療客服案例和轉錄測試結果,說明語音辨識、通話流程與人工轉接如何配合處理預約及病患來電。
AWS Machine Learning Blog品質評分4747 Stretto 如何用 Amazon Nova 2 Sonic 打造破產諮詢電話 AI 助理
Bankruptcy.com 原本用網頁表單收集資料,但問題問得太多,民眾常填到一半就離開;只收少量資料,又不夠律師判斷。Stretto 和 CI&T 因此打造 AI 助理 Tara,讓民眾用電話回答破產相關問題,再把談話整理成資料,交給律師訂下的規則分類,供律師判斷。 Tara 使用 Amazon Nova 2 Sonic 和 Amazon Bedrock,能一邊聽、一邊用語音回應,也會依來電者的情緒調整說話方式。完成試用後,團隊先讓它收集原本表單上的 13 項資料,再擴大到 18 種以上的問題類別,例如債務、車輛、房產和工作收入。Stretto 表示,每分鐘語音費用比舊方案少了 95%。這讓民眾能用聊天的方式提供較完整的資料,律師也更容易評估案件。
Perplexity@perplexity_ai品質評分5050
Baseten@baseten品質評分3838Rumble-2-Flash 已加入我們的模型庫,可一鍵部署,用於即時與批次轉錄。 這是同等規模中準確度最高的多語言轉錄模型。恭喜 Reson8 團隊! https://t.co/3WJbiz6Iy6
AssemblyAI@AssemblyAI精選品質評分6969
推薦理由:三款模型分別面向即時對話、語音 AI 助理和錄音,並提供各自的錯誤率比較,可據此挑選符合音訊情境的轉錄服務。
Hugging Face Blog精選品質評分6464 Hugging Face 開源 0.5B 語音辨識模型 Rumble-2-Flash
語音辨識模型常要用很大的模型,才能處理多種語言和吵雜的電話錄音。Hugging Face 開源了 Rumble-2-Flash,這個 0.5B 模型支援 40 多種語言,也能自動判斷語言;它還能設定數字要寫成數字或文字,以及是否保留填充詞和重複內容。在一項 302 小時、涵蓋 14 種英語口音的客服電話測試中,它的錯誤率是 7.86%,接近 30B 的 Nemotron 3.5 Transcribe。模型可透過 Transformers、vLLM 和 Hugging Face API 使用。
推薦理由:Rumble-2-Flash 在多語言辨識與電話語音測試中,和大上許多的模型比較成績,呈現小型語音模型的實用範圍。
llama.cpp Releases品質評分4242 llama.cpp b12494 新增 Kokoro 文字轉語音支援
llama.cpp 的 b12494 加入 Kokoro 文字轉語音支援,並補上把文字轉成語音時需要的文字整理與發音處理,也調整了聊天功能和批次處理的程式。這次更新也列出多種作業系統與硬體的版本,例如 macOS、Linux、Android 和 Windows,可搭配 CPU、CUDA 或 Vulkan 等環境使用。
llama.cpp Releases品質評分4141 llama.cpp 新增支援 Qwen3-TTS 的參考音訊模式
llama.cpp 新增 Qwen3-TTS 的 ICL/參考音訊模式,並修正把轉錄文字附加到圖片資料時的正確性問題。這次更新也列出多種系統與硬體版本的下載專案;最主要的改變,是 llama.cpp 現在支援這項 Qwen3-TTS 模式。
AssemblyAI@AssemblyAI品質評分3535
ElevenLabs Official Blog品質評分4747 ElevenLabs AI 零售助理:從回答問題到完成訂單
客人訂房或買東西時,常會臨時改日期、預算或需求;一般表單和篩選條件不夠靈活,改一次就可能得重頭來過。ElevenLabs 用 ElevenAgents 做出能用語音對話的 AI 助理,會一邊查即時資料、一邊調整選項,最後直接完成訂房或結帳。像 Rohlik 的 AI 助理 Maia,已能接手 90% 的客服專線來電,也能幫客人找商品、列購物清單並用語音結帳。這類助理能讓客人少繞路、讓商家接住更多訂單;不過效果也和模型、聲音及設定方式有關。
ElevenLabs Official Blog精選品質評分6565 ElevenLabs 推出 Scribe v3 Live Medical,讓醫療電話更聽得懂藥名
醫療電話裡的藥名、劑量和病情細節容易被聽錯,可能讓後續處理出問題。ElevenLabs 推出 Scribe v3 Live Medical,讓 ElevenAgents 能即時轉錄看診和醫療服務電話;醫療團隊也能加入最多 10,000 個自訂詞彙,並支援超過 90 種語言。PriMock57 測試中,它的字詞錯誤率是 12.8%,比測試中最接近的醫療模型少 17% 錯誤。這些結果來自 ElevenLabs 對部分模型的內部測試。
推薦理由:原文以兩組醫療對話測試比較轉錄結果,可瞭解這款即時語音模型在藥名、症狀等臨床內容上的表現。
vLLM@vllm_project精選品質評分7474推薦理由:vLLM-Omni 支援 AURA 2.0,並公佈單一連線設定下的首段語音延遲與四項基準比較,可瞭解這套視訊模型的互動方式與執行表現。
OpenBMB@OpenBMB品質評分5656
llama.cpp Releases品質評分3838 llama.cpp b12452 開始支援 Fish Audio S2 與聲音複製
llama.cpp 這次加入 Fish Audio S2 支援,也加入聲音複製功能。更新內容還提到改用新的 batch API;簡單來說,這次更新讓 llama.cpp 多了支援這款音訊模型和複製聲音的能力。
ElevenLabs Official Blog精選品質評分7272 ElevenLabs 收購日本語音 AI 團隊 Kotoba
日語對話常省略句子的主詞,也會依物件改變用詞,讓 AI 要自然接話並不容易。ElevenLabs 宣佈收購日本語音 AI 團隊 Kotoba,盼結合雙方研究,改善日語語音技術,並讓 AI 助理更自然地處理日文對話。Kotoba 的語音模型 Koto 可將文字轉成語音、將語音轉成文字,也能支援同步口譯;Salesforce 已用它支援 Agentforce Voice 的日語對話。收購預計在 2026 年第四季稍晚完成,仍須取得一般監管核准並符合交割條件。
推薦理由:Kotoba 加入 ElevenLabs 後,雙方將結合語音研究與日本市場經驗,推進能理解日語對話與在地社會習慣的 AI 服務。
Baseten@baseten品質評分4848
Artificial Analysis@ArtificialAnlys品質評分5959ElevenLabs Official Blog品質評分3535 Autotorino 用 ElevenAgents 接聽汽車經銷商來電,24 小時服務顧客
Autotorino 每月會接到約 100,000 通電話,過去的錄音留言只能處理少部分來電。現在,ElevenAgents 會接聽電話、瞭解顧客需求並建立銷售線索,也能全天候接電話。電話內容經整理後,Autotorino 發現約 70% 的需求和售後服務有關,常見的是預約保養或安排交車;新系統處理的來電量也超過舊系統的 2 倍。Eleven v4 讓同一個聲音聽起來更自然,顧客也比較容易得到服務,Autotorino 因此計畫從 11 月起,先在第一間分店用 ElevenLabs 語音 AI 助理取代 IVR 系統。
llama.cpp Releases品質評分3636 llama.cpp 發布 b12426,新增 Higgs v3 與 VibeVoice-ASR 支援
llama.cpp 的 b12426 讓 mtmd 支援 Higgs v3 和 VibeVoice-ASR,並加入讀取媒體資訊的工具。這次更新也提供多種系統與硬體環境的版本,例如 macOS、Linux、Android 和 Windows,可搭配 CPU、GPU 或 NPU 使用;想用語音辨識功能的人,可以留意新增的 VibeVoice-ASR 支援。
llama.cpp Releases品質評分4949 llama.cpp b12424 加入 zonos3-mini 語音合成功能
llama.cpp b12424 加入 zonos3-mini,讓模型可以產生語音,也改善聲音複製、預設聲音設定和播放速度。這次更新也增加文字整理功能,並提供多種系統與硬體版本,例如 macOS、Windows、Linux 和 Android;實際可用的版本會依裝置和顯示卡或晶片而不同。
ElevenLabs Official Blog品質評分4545 開源 TTS 和付費 API 怎麼選?先看需求和團隊能不能維護
把文字變成語音,可以自己架設開源 TTS,也可以付費使用 API;兩種方式都能做出不錯的語音,適合的情況不同。自己架設不用按字數付費,資料也能留在自家裝置裡,但要另外準備運算裝置,還得有人維護。付費 API 比較省事,接上應用程式就能使用,費用則會依使用量計算。 例如,智慧音箱等裝置需要反應快,或醫療、金融單位要求資料留在特定地方,自己架設可能比較合適;如果想快速推出服務,付費 API 可能更方便。挑選時也要實際測試語音好不好懂、反應速度、語言口音和大量使用時是否穩定,並把裝置和人力費用一起算進去。
Artificial Analysis@ArtificialAnlys品質評分4747
Artificial Analysis@ArtificialAnlys品質評分3939ElevenLabs Official Blog品質評分4444 Oxford Saïd 把多年女性創業研究做成能對話的 SOFIA AI 助理
女性創辦人常遇到資金少、曝光也少的困難:全女性團隊拿到的創投資金約佔 2.3%,想創業的人也較少有成功女性可以參考。Oxford Saïd Business School 多年來訪問女性創辦人,整理她們募資、承擔風險和經營公司的經驗,現在把這些研究做成 SOFIA for Business,讓人能直接和它對話、向受訪者的經驗學習。SOFIA 也會訪問創辦人;得到同意後,對話內容會加入研究,讓這份經驗持續累積。
DeepSeek@deepseek_ai精選品質評分6666推薦理由:DeepSeek 將 App 的搜尋、檔案與語音等功能開放給 API 使用,並提供可匯入對話紀錄的前端示範,方便了解整合方式。