跳到正文

#語音

RSS
今日 1 則
今天11月23日週一
11月22日週日
11月21日週六
  1. Hugging Face Transformers Releases66

    Hugging Face Transformers v5.24.0 加入多種模型支援並調整快取名稱

    要在 Transformers 裡使用新模型,或讓不同模型共用一套程式,開發者常得處理各自不同的介面。v5.24.0 加入 Inkling 2 Mini、Apertus 1.5、Dory 和 Omnilingual ASR 等模型支援,也把原本依模型而異的 past_key_values 和 cache_params 統一改叫 cache;舊名稱目前仍可使用,但會出現棄用提醒。這次更新也修正了文字串流在中文、日文和韓文內容中可能漏空格或變慢的問題。

    推薦理由:Transformers v5.24.0 一次加入多種模型支援,也統一了快取名稱;更新內容能幫開發者掌握新模型接入與舊程式需要調整的地方。

  2. Google Research70

    Google 把 Duplex 電話功能帶進 Gemini Tasks,替使用者聯絡商家

    訂位或預約常得打電話,商家可能臨時改口、提出別的時段,電話環境也常有背景雜音。Google 將 Duplex 整合進 Gemini App 的 Tasks,讓它能代替使用者打電話處理日常事務,並用 Gemini 理解需求、安排步驟和接續對話。這套系統從只能處理固定任務,逐步發展到能依文字描述應付不同需求,例如配合行事曆空檔安排汽車保養。每通電話一開始都會說明是 Google 的自動化系統,商家也能選擇不接這類電話。

    推薦理由:Duplex 從固定任務的專用模型,逐步演進為由 Gemini 統整理解、規劃與對話的系統,呈現它如何處理電話中的臨場變化。

  3. ElevenLabs Official Blog39

    Fundación Televisa 如何用 ElevenAgents 訪談超過 1,000 位創業者

    POSiBLE 要公平挑選創業者,得先逐一瞭解他們的生意,但申請人多,安排訪談很花時間。Fundación Televisa 把 ElevenAgents 接到 POSiBLE 的網站,讓申請者隨時用語音介紹營收、客戶等情況,通話結束後就能收到回饋。訪談平均約 5 分鐘,這次共訪談 1,036 人,最後選出 70 個團隊參加培訓營。AI 助理讓創業者能配合自己的時間完成訪談,也幫團隊處理大量對談;受訪者仍由 POSiBLE 團隊挑選,AI 沒有取代工作人員。

  4. ElevenLabs Official Blog62

    ElevenLabs 示範用 ElevenAgents 和 Architect 打造醫療預約提醒 AI 助理

    診所人工提醒病人很難大量處理,簡訊和傳統語音選單也不容易確認身分或直接改約。ElevenLabs 示範用 ElevenAgents 和 Architect 建立外撥提醒 AI 助理:先核對病人的生日,再從電子病歷讀取預約,讓病人確認、改期或取消;若接到語音信箱、病人要求停止來電,或需要真人協助,也有相應流程。文章記錄了模擬測試和實際通話中發現的問題,包括未核對身分就透露預約資料、編出不存在的改期時間,以及 EHR 寫入時遺失資料。作者也提醒,測試全數通過仍不代表實際寫入正確,應讀回資料確認。

    推薦理由:文章呈現從工作流程設定、模擬測試到實際通話與 EHR 寫入的建置過程,也指出測試未涵蓋的資料遺失問題。

  5. llama.cpp Releases50

    llama.cpp b12590 加入 drama3 聲音複製支援

    llama.cpp 這次更新讓 fish_s2_spkenc 也能用在 drama3,把參考音訊轉成模型可使用的資料,並透過 drama3 的語音流程產生聲音。使用者提供參考音訊時,系統會把其中的音訊資料送進模型;呼叫端提供下一段音訊的程式碼時,也能用來引導生成。這讓 llama.cpp 能處理 drama3 的聲音複製流程,並新增讀取生成狀態中參考音訊程式碼的方式。

  6. Together AI Official Blog73

    Together AI 開放使用 Qwen3 TTS,可調整語氣並串流生成語音

    把文字變成語音時,開發者可能希望調整說話情緒、維持熟悉的聲音,也讓語音更快開始播放。Together AI 現在提供 Qwen3 TTS,可從 9 種預設聲音中挑選,再用簡短文字改變說話方式;每種聲音都支援 10 種語言。串流時,第一段音訊最快可在 97ms 後送出,文字若還在逐步產生,也能透過 WebSocket 分段送入。服務費用是每 1M 個字元 $20;Qwen 建議使用聲音原本的語言,以取得較好的品質。

    推薦理由:文章整理了 Qwen3 TTS 在 Together AI 的語音控制與串流方式,並說明不同語言的聲音品質可能因預設聲音而異。

11月20日週五
  1. Vercel Blog51

    OpenAI 發布 GPT-Live 1.1,Vercel AI Gateway 已可使用

    AI 助理講話時,使用者有時需要插話或補充細節。OpenAI 的 GPT-Live 1.1 可以一邊說話一邊聽,也能讓來電者打斷或補充內容;相較前一版,它的語音轉文字更準確,跨語言時的口音和聲音也更一致。這個模型已能透過 Vercel AI Gateway 使用,原本串接 GPT-Live 的程式只要換成新的模型 ID。若開啟代辦功能,AI 助理可以請其他文字模型幫忙,再把結果轉成語音;這些代辦請求會另外計費,而語音工作階段在代辦執行期間仍會繼續計費。

  2. AWS Machine Learning Blog66

    Amazon Polly 開放語音複製,幾分鐘錄音就能建立品牌聲音

    客服、教材或廣告常需要同一種聲音,改稿時若要重新錄音也很花時間。Amazon Polly 現在提供語音複製功能,取得說話者同意後,使用 1 到 10 段錄音就能建立克隆語音,通常需要 5 到 10 分鐘,之後可用來朗讀新文字。功能支援英文、西班牙文、德文、法文、義大利文、葡萄牙文和印地語,每個聲音只會說錄音使用的語言。語音會加密並限制帳戶存取,合成音訊也會加上浮水印;建立語音免費,使用時按量收費。目前須先取得帳戶使用許可權。

    推薦理由:Amazon Polly 可用幾分鐘錄音建立指定語言的克隆語音,並透過 API 用於客服、教材與遊戲等情境;文章也交代同意確認、許可權控管和刪除方式。

  3. ElevenLabs Official Blog50

    Candid Health 用 ElevenAgents 自動打電話查保險理賠問題

    保險理賠被拒時,醫院的帳務人員得打電話查原因,一通可能花上 10 分鐘到 1 小時。Candid Health 用 ElevenAgents 打電話詢問保險公司,找出拒賠原因和接下來該怎麼處理;一開始就處理了 12,860 通電話,替員工省下超過 850 小時,並成功解決 59% 的試辦電話。像是查出醫療人員在看診當天沒有完成保險公司的資格登記,修正這類問題就能避免後續理賠再被拒。客服和帳務團隊也能自己調整、測試 AI 助理,讓工程師專心處理系統穩定和擴充。

  4. AWS Machine Learning Blog58

    PolyAI Dialog-RSN-1 登上 Amazon SageMaker JumpStart,可部署到自己的 AWS 帳戶

    處理即時客服電話時,模型要聽懂來電者的話,也得及時回答。PolyAI 的 Dialog-RSN-1 現在可透過 AWS Marketplace 或 Amazon SageMaker JumpStart 部署到自己的 AWS 帳戶,直接聽取電話音訊並即時回應,不必先轉成文字再交給另一個模型處理。部署後,通話音訊和逐字稿留在使用者控制的環境中;團隊也能依需求選擇偏重回應速度、處理量、成本或平衡的設定檔。模型目前只支援英文,連線最長為 30 分鐘。

11月19日週四
  1. ElevenLabs Official Blog71

    ElevenLabs 推出醫療版 ElevenAgents,協助處理病患與醫療團隊來電

    病患打電話預約或詢問資料時,若 AI 助理聽錯藥名、插話,或無法連上院方系統,事情就得重來。ElevenLabs 推出醫療版 ElevenAgents,搭配 Scribe v3 Live Medical 即時辨識醫療用語,也能接上預約、病歷和電話系統;遇到症狀問題或敏感資料,團隊可設定轉給真人處理。Cadence 使用這套服務聯絡慢性病患者後,聯絡到患者的中位時間從近兩小時降到 3.5 分鐘;患者接聽 AI 助理來電的比例也比接聽護理師來電高 47%。

    推薦理由:文章以醫療客服案例和轉錄測試結果,說明語音辨識、通話流程與人工轉接如何配合處理預約及病患來電。

  2. AWS Machine Learning Blog47

    Stretto 如何用 Amazon Nova 2 Sonic 打造破產諮詢電話 AI 助理

    Bankruptcy.com 原本用網頁表單收集資料,但問題問得太多,民眾常填到一半就離開;只收少量資料,又不夠律師判斷。Stretto 和 CI&T 因此打造 AI 助理 Tara,讓民眾用電話回答破產相關問題,再把談話整理成資料,交給律師訂下的規則分類,供律師判斷。 Tara 使用 Amazon Nova 2 Sonic 和 Amazon Bedrock,能一邊聽、一邊用語音回應,也會依來電者的情緒調整說話方式。完成試用後,團隊先讓它收集原本表單上的 13 項資料,再擴大到 18 種以上的問題類別,例如債務、車輛、房產和工作收入。Stretto 表示,每分鐘語音費用比舊方案少了 95%。這讓民眾能用聊天的方式提供較完整的資料,律師也更容易評估案件。

11月18日週三
  1. AssemblyAI69

    即時對話、語音 AI 助理和錄音的轉錄需求不同,說話者標記、速度和辨識準確度也各有重點。AssemblyAI 推出 STT-3.7 系列的三款模型:Realtime 在對話回合結束時提供定稿的說話者標記;Realtime-Agent 面向語音 AI 助理,標榜能在 86 毫秒內提供定稿文字;STT-3.7 則用於錄音,支援 32 種語言。官方表示,三款模型今天都已推出,並提供基準測試與同業錄音比較。

    推薦理由:三款模型分別面向即時對話、語音 AI 助理和錄音,並提供各自的錯誤率比較,可據此挑選符合音訊情境的轉錄服務。

  2. Hugging Face Blog64

    Hugging Face 開源 0.5B 語音辨識模型 Rumble-2-Flash

    語音辨識模型常要用很大的模型,才能處理多種語言和吵雜的電話錄音。Hugging Face 開源了 Rumble-2-Flash,這個 0.5B 模型支援 40 多種語言,也能自動判斷語言;它還能設定數字要寫成數字或文字,以及是否保留填充詞和重複內容。在一項 302 小時、涵蓋 14 種英語口音的客服電話測試中,它的錯誤率是 7.86%,接近 30B 的 Nemotron 3.5 Transcribe。模型可透過 Transformers、vLLM 和 Hugging Face API 使用。

    推薦理由:Rumble-2-Flash 在多語言辨識與電話語音測試中,和大上許多的模型比較成績,呈現小型語音模型的實用範圍。

  3. llama.cpp Releases42

    llama.cpp b12494 新增 Kokoro 文字轉語音支援

    llama.cpp 的 b12494 加入 Kokoro 文字轉語音支援,並補上把文字轉成語音時需要的文字整理與發音處理,也調整了聊天功能和批次處理的程式。這次更新也列出多種作業系統與硬體的版本,例如 macOS、Linux、Android 和 Windows,可搭配 CPU、CUDA 或 Vulkan 等環境使用。

  4. ElevenLabs Official Blog47

    ElevenLabs AI 零售助理:從回答問題到完成訂單

    客人訂房或買東西時,常會臨時改日期、預算或需求;一般表單和篩選條件不夠靈活,改一次就可能得重頭來過。ElevenLabs 用 ElevenAgents 做出能用語音對話的 AI 助理,會一邊查即時資料、一邊調整選項,最後直接完成訂房或結帳。像 Rohlik 的 AI 助理 Maia,已能接手 90% 的客服專線來電,也能幫客人找商品、列購物清單並用語音結帳。這類助理能讓客人少繞路、讓商家接住更多訂單;不過效果也和模型、聲音及設定方式有關。

  5. ElevenLabs Official Blog65

    ElevenLabs 推出 Scribe v3 Live Medical,讓醫療電話更聽得懂藥名

    醫療電話裡的藥名、劑量和病情細節容易被聽錯,可能讓後續處理出問題。ElevenLabs 推出 Scribe v3 Live Medical,讓 ElevenAgents 能即時轉錄看診和醫療服務電話;醫療團隊也能加入最多 10,000 個自訂詞彙,並支援超過 90 種語言。PriMock57 測試中,它的字詞錯誤率是 12.8%,比測試中最接近的醫療模型少 17% 錯誤。這些結果來自 ElevenLabs 對部分模型的內部測試。

    推薦理由:原文以兩組醫療對話測試比較轉錄結果,可瞭解這款即時語音模型在藥名、症狀等臨床內容上的表現。

  6. vLLM74

    看直播畫面時,AI 助理若要主動開口、回應內容並指出畫面中的物件,需要同時處理影片、對話和語音。vLLM Project 宣佈 vLLM-Omni 從第一天起支援 AURA 2.0,這款 9B 串流影片模型能判斷何時該說話、根據即時畫面和對話呼叫工具,並用方框標出正在討論的物件。vLLM-Omni 負責從語音辨識、影片理解到語音生成;在單一連線、使用兩張約 140 GB 加速器的設定下,首段回覆語音的中位延遲為 344 ms。原文也表示,AURA 2.0 在列出的四項基準比較中領先。

    推薦理由:vLLM-Omni 支援 AURA 2.0,並公佈單一連線設定下的首段語音延遲與四項基準比較,可瞭解這套視訊模型的互動方式與執行表現。

11月17日週二
  1. OpenBMB56

    替影片配上另一種語言的聲音,常得分別處理字幕、配音和時間對齊。社群開發者做了 VoxaDub,能先轉錄對話並對齊時間,再用 Hy-MT2 翻譯,接著以 VoxCPM2 參考各說話者的乾淨音訊來生成配音,並調整語句長度以配合畫面。完成後可把配音和原本的背景音合在一起,也能另外選擇唇形同步。模型設定完成後,配音可全程在本機執行;直播配音仍在實驗階段,時間調整有助於對齊,但不保證完全同步。

  2. ElevenLabs Official Blog72

    ElevenLabs 收購日本語音 AI 團隊 Kotoba

    日語對話常省略句子的主詞,也會依物件改變用詞,讓 AI 要自然接話並不容易。ElevenLabs 宣佈收購日本語音 AI 團隊 Kotoba,盼結合雙方研究,改善日語語音技術,並讓 AI 助理更自然地處理日文對話。Kotoba 的語音模型 Koto 可將文字轉成語音、將語音轉成文字,也能支援同步口譯;Salesforce 已用它支援 Agentforce Voice 的日語對話。收購預計在 2026 年第四季稍晚完成,仍須取得一般監管核准並符合交割條件。

    推薦理由:Kotoba 加入 ElevenLabs 後,雙方將結合語音研究與日本市場經驗,推進能理解日語對話與在地社會習慣的 AI 服務。

  3. Baseten48

    推出 Baseten Voice Agent Stack:專為執行和自訂語音 AI 助理打造的最佳化基礎架構。所有模型和協調器都託管於此,以降低端到端延遲;各元件可獨立擴充套件,也能替換或後訓練任何模型。 我們用開放權重模型在此打造 Baseten Realtime Voice:在 τ²-Bench Voice 得分 73.5%,超過串接式基準的兩倍,對話輪次延遲不到 1 秒,成本約為 $0.01/min。 兩者目前都在私人預覽階段:https://t.co/Rqgk9lAHcA

  4. Artificial Analysis59

    文字轉語音模型不只要發音自然、生成得快,也得讓人不用等太久才聽到聲音。Artificial Analysis 新增「開始播放語音所需時間」基準,每天用相同的 12 個提示詞測試各模型,並公佈近 7 天平均值。結果顯示,串流模型通常幾百毫秒內就會開始說話,中位數是 376 毫秒;非串流模型得等整段語音生成完才會回傳,中位數是 2.0 秒。

  5. ElevenLabs Official Blog35

    Autotorino 用 ElevenAgents 接聽汽車經銷商來電,24 小時服務顧客

    Autotorino 每月會接到約 100,000 通電話,過去的錄音留言只能處理少部分來電。現在,ElevenAgents 會接聽電話、瞭解顧客需求並建立銷售線索,也能全天候接電話。電話內容經整理後,Autotorino 發現約 70% 的需求和售後服務有關,常見的是預約保養或安排交車;新系統處理的來電量也超過舊系統的 2 倍。Eleven v4 讓同一個聲音聽起來更自然,顧客也比較容易得到服務,Autotorino 因此計畫從 11 月起,先在第一間分店用 ElevenLabs 語音 AI 助理取代 IVR 系統。

11月16日週一
11月14日週六
  1. ElevenLabs Official Blog45

    開源 TTS 和付費 API 怎麼選?先看需求和團隊能不能維護

    把文字變成語音,可以自己架設開源 TTS,也可以付費使用 API;兩種方式都能做出不錯的語音,適合的情況不同。自己架設不用按字數付費,資料也能留在自家裝置裡,但要另外準備運算裝置,還得有人維護。付費 API 比較省事,接上應用程式就能使用,費用則會依使用量計算。 例如,智慧音箱等裝置需要反應快,或醫療、金融單位要求資料留在特定地方,自己架設可能比較合適;如果想快速推出服務,付費 API 可能更方便。挑選時也要實際測試語音好不好懂、反應速度、語言口音和大量使用時是否穩定,並把裝置和人力費用一起算進去。

  2. Artificial Analysis47

    Speechify 推出語音模型 Simba 3.5,在 Artificial Analysis 的 Controlled Voice Arena 排名第一,成績與 HeyGen Voice 統計上不分高下,也領先 Qwen-Audio-3.1-TTS-Plus。其他測試中,Simba 3.5 的 Provider Voice 排名第五,發音穩定度排名第七。它每秒能生成 139.6 個字元,每 100 萬個字元收費 $6.58;Eleven v4 Turbo 則是每秒 105.3 個字元、收費 $40。Simba 3.5 是價格圖表中最便宜的模型,代表它在這項比較裡兼具較快速度與較低價格。

  3. Artificial Analysis39

    宣佈推出 Artificial Analysis Diarization Index,這是我們用來評測語音轉文字中「誰說了什麼」的新基準。 Diarization Index 以詞語語者辨識錯誤率(WDER)評分各家 API:在 97 段由 2 至 8 人參與的對話中,計算被分配給錯誤說話者或未分配說話者的詞語比例,並對各種人數的對話採相同權重。 來自 @NVIDIAAI 的 Nemotron 3.5 Transcribe 以 3.3% 領先,高於 Voxtral Small Transcribe 3 的 7.5%。下方串文詳述 🧵

  4. ElevenLabs Official Blog44

    Oxford Saïd 把多年女性創業研究做成能對話的 SOFIA AI 助理

    女性創辦人常遇到資金少、曝光也少的困難:全女性團隊拿到的創投資金約佔 2.3%,想創業的人也較少有成功女性可以參考。Oxford Saïd Business School 多年來訪問女性創辦人,整理她們募資、承擔風險和經營公司的經驗,現在把這些研究做成 SOFIA for Business,讓人能直接和它對話、向受訪者的經驗學習。SOFIA 也會訪問創辦人;得到同意後,對話內容會加入研究,讓這份經驗持續累積。

11月13日週五
  1. DeepSeek66

    想在自己的應用程式裡加入 DeepSeek App 的功能,現在可以透過 DeepSeek API 使用搜尋、檔案、連結、安全和語音功能。開發者可以用幾個引數開啟內建功能,也能單獨呼叫 OCR、ASR 和 TTS,打造更多元的對話,或重現完整的 DeepSeek App。DeepSeek 也提供開源前端示範,支援匯入 DeepSeek 對話紀錄。

    推薦理由:DeepSeek 將 App 的搜尋、檔案與語音等功能開放給 API 使用,並提供可匯入對話紀錄的前端示範,方便了解整合方式。