跳到正文

語音與音訊

AI 語音與音訊的進展:語音合成、即時對話、音樂生成與音訊理解的模型與產品。

最新精選

第 1–20 條 · 共 60 條
11月21日週六
  1. MarkTechPost79

    OpenAI 推出 GPT-Live-1.1,語音連線待機每分鐘 $0.02

    語音服務在使用者沉默時仍會產生費用,OpenAI 推出的 GPT-Live-1.1 加入了較便宜的待機狀態。這款語音模型能一邊聽、一邊說,支援多語言對話;待機時會暫停推論,但保持 WebRTC 連線,使用者開口後可以接著對話。待機費用是每分鐘 $0.02,啟用時則是 $0.05。OpenAI 表示,新版在口音、轉錄和完成任務方面有所改善,但沒有公佈評測分數;後端模型與工具的費用則另外計算。

    推薦理由:GPT-Live-1.1 把語音模型的待機費用降到每分鐘 $0.02,但語音品質提升目前只有 OpenAI 的說法,沒有公開評測分數可供比較。

  2. Hugging Face Transformers Releases66

    Hugging Face Transformers v5.24.0 加入多種模型支援並調整快取名稱

    要在 Transformers 裡使用新模型,或讓不同模型共用一套程式,開發者常得處理各自不同的介面。v5.24.0 加入 Inkling 2 Mini、Apertus 1.5、Dory 和 Omnilingual ASR 等模型支援,也把原本依模型而異的 past_key_values 和 cache_params 統一改叫 cache;舊名稱目前仍可使用,但會出現棄用提醒。這次更新也修正了文字串流在中文、日文和韓文內容中可能漏空格或變慢的問題。

    推薦理由:Transformers v5.24.0 一次加入多種模型支援,也統一了快取名稱;更新內容能幫開發者掌握新模型接入與舊程式需要調整的地方。

  3. Google Research70

    Google 把 Duplex 電話功能帶進 Gemini Tasks,替使用者聯絡商家

    訂位或預約常得打電話,商家可能臨時改口、提出別的時段,電話環境也常有背景雜音。Google 將 Duplex 整合進 Gemini App 的 Tasks,讓它能代替使用者打電話處理日常事務,並用 Gemini 理解需求、安排步驟和接續對話。這套系統從只能處理固定任務,逐步發展到能依文字描述應付不同需求,例如配合行事曆空檔安排汽車保養。每通電話一開始都會說明是 Google 的自動化系統,商家也能選擇不接這類電話。

    推薦理由:Duplex 從固定任務的專用模型,逐步演進為由 Gemini 統整理解、規劃與對話的系統,呈現它如何處理電話中的臨場變化。

  4. aihot74

    Google 把 Duplex 整合進 Gemini Tasks,讓 AI 助理替你打電話給商家

    訂餐、約時間常得直接打電話,但商家可能改口、背景又很吵,AI 得接得上話,也不能搶著開口。Google 回顧 Duplex 十年來的變化,並把它整合進 Gemini App 的 Tasks,讓 AI 助理依照使用者交代的事情致電商家;現在系統使用 Gemini 處理理解、規劃和對話,也能在商家提出其他時段時調整安排。電話一開始會說明是 Google 的自動系統,商家也能選擇不接這類電話。商家不用安裝軟體或改變原本接電話的方式。

    推薦理由:Duplex 從固定流程走向 Gemini 統一架構,也說明電話服務得同時處理對話節奏、背景噪音與商家拒絕等現場狀況。

  5. ElevenLabs Official Blog62

    ElevenLabs 示範用 ElevenAgents 和 Architect 打造醫療預約提醒 AI 助理

    診所人工提醒病人很難大量處理,簡訊和傳統語音選單也不容易確認身分或直接改約。ElevenLabs 示範用 ElevenAgents 和 Architect 建立外撥提醒 AI 助理:先核對病人的生日,再從電子病歷讀取預約,讓病人確認、改期或取消;若接到語音信箱、病人要求停止來電,或需要真人協助,也有相應流程。文章記錄了模擬測試和實際通話中發現的問題,包括未核對身分就透露預約資料、編出不存在的改期時間,以及 EHR 寫入時遺失資料。作者也提醒,測試全數通過仍不代表實際寫入正確,應讀回資料確認。

    推薦理由:文章呈現從工作流程設定、模擬測試到實際通話與 EHR 寫入的建置過程,也指出測試未涵蓋的資料遺失問題。

  6. Together AI Official Blog73

    Together AI 開放使用 Qwen3 TTS,可調整語氣並串流生成語音

    把文字變成語音時,開發者可能希望調整說話情緒、維持熟悉的聲音,也讓語音更快開始播放。Together AI 現在提供 Qwen3 TTS,可從 9 種預設聲音中挑選,再用簡短文字改變說話方式;每種聲音都支援 10 種語言。串流時,第一段音訊最快可在 97ms 後送出,文字若還在逐步產生,也能透過 WebSocket 分段送入。服務費用是每 1M 個字元 $20;Qwen 建議使用聲音原本的語言,以取得較好的品質。

    推薦理由:文章整理了 Qwen3 TTS 在 Together AI 的語音控制與串流方式,並說明不同語言的聲音品質可能因預設聲音而異。

11月20日週五
  1. AWS Machine Learning Blog66

    Amazon Polly 開放語音複製,幾分鐘錄音就能建立品牌聲音

    客服、教材或廣告常需要同一種聲音,改稿時若要重新錄音也很花時間。Amazon Polly 現在提供語音複製功能,取得說話者同意後,使用 1 到 10 段錄音就能建立克隆語音,通常需要 5 到 10 分鐘,之後可用來朗讀新文字。功能支援英文、西班牙文、德文、法文、義大利文、葡萄牙文和印地語,每個聲音只會說錄音使用的語言。語音會加密並限制帳戶存取,合成音訊也會加上浮水印;建立語音免費,使用時按量收費。目前須先取得帳戶使用許可權。

    推薦理由:Amazon Polly 可用幾分鐘錄音建立指定語言的克隆語音,並透過 API 用於客服、教材與遊戲等情境;文章也交代同意確認、許可權控管和刪除方式。

  2. Lobste.rs (Engineering Discussion)62

    Platypush 作者重整自架語音助理流程,改善吵雜環境下的辨識

    自架語音助理在吵雜環境或使用便宜麥克風時,可能會把背景聲當成喚醒詞,也可能抓不準使用者何時說完。Platypush 作者換用 microWakeWord 偵測喚醒詞,並調整語音活動偵測,讓系統一起參考聲音大小、背景噪音和一小段時間內的判斷結果。合成測試中,新流程會在最後一句話後約 1.0–1.6 秒結束對話;舊設定則可能多等 6–10 秒。作者也提醒,不同房間和麥克風可能需要調整設定。

    推薦理由:作者比較改造前後的語音辨識收尾時間,並說明喚醒詞、語音偵測與背景噪音處理的調整方式,提供自架語音助理的實作參考。

11月19日週四
  1. ElevenLabs Official Blog71

    ElevenLabs 推出醫療版 ElevenAgents,協助處理病患與醫療團隊來電

    病患打電話預約或詢問資料時,若 AI 助理聽錯藥名、插話,或無法連上院方系統,事情就得重來。ElevenLabs 推出醫療版 ElevenAgents,搭配 Scribe v3 Live Medical 即時辨識醫療用語,也能接上預約、病歷和電話系統;遇到症狀問題或敏感資料,團隊可設定轉給真人處理。Cadence 使用這套服務聯絡慢性病患者後,聯絡到患者的中位時間從近兩小時降到 3.5 分鐘;患者接聽 AI 助理來電的比例也比接聽護理師來電高 47%。

    推薦理由:文章以醫療客服案例和轉錄測試結果,說明語音辨識、通話流程與人工轉接如何配合處理預約及病患來電。

  2. aihot77

    Google DeepMind 開放 Genie 4,讓使用者邊探索邊改變世界

    想像中的世界生成後,往往不容易再改變裡面的場景。Google DeepMind 在 11 月 18 日向符合條件的 Google AI Ultra 訂閱者開放 Project Genie 新體驗,首次提供 Genie 4。使用者探索時可以輸入提示詞,即時改變天氣、加入角色或調整劇情,場景也會搭配原生音訊。更新後的 Genie 3 每次最多可探索 3 分鐘,也能用 360 度全景圖作為起始場景。這些模型仍在研究階段,生成的影音會加上 SynthID 水印,輸入和輸出也會經過安全篩查。

    推薦理由:Genie 4 可在探索途中依提示詞即時改變場景,並加入會隨畫面變化的原生音訊,呈現世界模型的互動方式。

11月18日週三
  1. Rohan Paul70

    網路不穩或背景很吵時,語音辨識常會聽錯。Amsterdam 新創公司 Reson8 推出 Rumble-2-Flash,這款語音轉文字模型有 0.5B 個引數、大小為 1GB,可辨識 45 種語言,並主打處理濃重口音、多人同時說話、電話線路不佳和街道噪音。它能在手機上執行,讓通話和語音備忘錄不必連上網路也能轉成文字。原文表示,它的表現勝過體積大 20 倍的模型,並以 Apache 2.0 授權免費提供。

    推薦理由:Rumble-2-Flash 主打在手機上處理口音、多人重疊說話和街道噪音,可看出小型開放模型在語音辨識上的應用方向。

  2. AssemblyAI69

    即時對話、語音 AI 助理和錄音的轉錄需求不同,說話者標記、速度和辨識準確度也各有重點。AssemblyAI 推出 STT-3.7 系列的三款模型:Realtime 在對話回合結束時提供定稿的說話者標記;Realtime-Agent 面向語音 AI 助理,標榜能在 86 毫秒內提供定稿文字;STT-3.7 則用於錄音,支援 32 種語言。官方表示,三款模型今天都已推出,並提供基準測試與同業錄音比較。

    推薦理由:三款模型分別面向即時對話、語音 AI 助理和錄音,並提供各自的錯誤率比較,可據此挑選符合音訊情境的轉錄服務。

  3. Hugging Face Blog64

    Hugging Face 開源 0.5B 語音辨識模型 Rumble-2-Flash

    語音辨識模型常要用很大的模型,才能處理多種語言和吵雜的電話錄音。Hugging Face 開源了 Rumble-2-Flash,這個 0.5B 模型支援 40 多種語言,也能自動判斷語言;它還能設定數字要寫成數字或文字,以及是否保留填充詞和重複內容。在一項 302 小時、涵蓋 14 種英語口音的客服電話測試中,它的錯誤率是 7.86%,接近 30B 的 Nemotron 3.5 Transcribe。模型可透過 Transformers、vLLM 和 Hugging Face API 使用。

    推薦理由:Rumble-2-Flash 在多語言辨識與電話語音測試中,和大上許多的模型比較成績,呈現小型語音模型的實用範圍。

  4. iThome (臺灣)85

    Microsoft 推出 7 款 AI 模型,主打接近頂尖效能與更低成本

    企業使用 AI 模型的費用正快速增加,Microsoft 推出 7 款自研模型,涵蓋程式開發、網路安全、影像生成、語音和模型選擇。以程式開發模型 MAI Code 2 為例,Microsoft 表示,它的效能接近 GPT-6.1 Sol,完成任務的成本約為對方的 40%;網路安全模型 MAI Cyber 2 Flash 則主打持續監控、漏洞掃描和修補。Microsoft 也推出模型權重授權服務,讓企業在自己的 Azure 環境部署模型並用內部資料客製化,減少對代管 API 的依賴。

    推薦理由:七款模型涵蓋程式開發、資安、影像與語音等工作,文中也列出和其他模型的效能及費用比較,可看出微軟主打的成本差異。

  5. Thurrott82

    Microsoft AI 在 Ignite 2026 發表七款新模型

    企業挑選 AI 模型時,常要在效果、價格和不同用途之間取捨。Microsoft AI 在 Ignite 2026 發表七款模型,涵蓋資安、寫程式、圖片編輯、即時語音、轉錄和決策;文中列出多項與其他模型的價格和效能比較,例如 MAI Code 2 對照 GPT-6.1 Sol,約以四成價格提供 98% 的寫程式品質。Microsoft 也表示,部分模型已在自家資料中心使用 Maia 200 晶片,並開始為客戶製作客製版本;組織之後也可透過 MAI Licensed Weights,在自己的 Azure 環境部署與調整模型。

    推薦理由:七款模型的發布資訊同時列出多項價格與效能比較,可看出 Microsoft 如何把不同用途的模型定位在成本與能力之間。

  6. aihot77

    Microsoft 推出語音模型 MAI Realtime 1,每分鐘音訊 $0.01 起

    語音 AI 要能自然對話,也得聽懂請求並即時回應。Microsoft 推出 MAI Realtime 1,這是該公司的首個語音轉語音模型;官方表示,它能處理打斷、背景噪音和較複雜的請求,也能連線企業系統與工具。語音用量每分鐘 $0.01 起,推論費用另計;模型相容 OpenAI Realtime API。Microsoft 表示,它在指定基準與產品評估中勝過 GPT Realtime 2.1,但也提醒,結果會隨評估設定和使用情境改變。

    推薦理由:文章列出 MAI Realtime 1 與 GPT Realtime 2.1 的評測比較、語音用量價格及 API 相容性,可用來初步衡量語音服務的成本與遷移條件。

  7. ElevenLabs Official Blog65

    ElevenLabs 推出 Scribe v3 Live Medical,讓醫療電話更聽得懂藥名

    醫療電話裡的藥名、劑量和病情細節容易被聽錯,可能讓後續處理出問題。ElevenLabs 推出 Scribe v3 Live Medical,讓 ElevenAgents 能即時轉錄看診和醫療服務電話;醫療團隊也能加入最多 10,000 個自訂詞彙,並支援超過 90 種語言。PriMock57 測試中,它的字詞錯誤率是 12.8%,比測試中最接近的醫療模型少 17% 錯誤。這些結果來自 ElevenLabs 對部分模型的內部測試。

    推薦理由:原文以兩組醫療對話測試比較轉錄結果,可瞭解這款即時語音模型在藥名、症狀等臨床內容上的表現。

  8. vLLM74

    看直播畫面時,AI 助理若要主動開口、回應內容並指出畫面中的物件,需要同時處理影片、對話和語音。vLLM Project 宣佈 vLLM-Omni 從第一天起支援 AURA 2.0,這款 9B 串流影片模型能判斷何時該說話、根據即時畫面和對話呼叫工具,並用方框標出正在討論的物件。vLLM-Omni 負責從語音辨識、影片理解到語音生成;在單一連線、使用兩張約 140 GB 加速器的設定下,首段回覆語音的中位延遲為 344 ms。原文也表示,AURA 2.0 在列出的四項基準比較中領先。

    推薦理由:vLLM-Omni 支援 AURA 2.0,並公佈單一連線設定下的首段語音延遲與四項基準比較,可瞭解這套視訊模型的互動方式與執行表現。

11月17日週二
  1. ModelScope68

    一般 AI 多半是等人提問後才回答,Duo 則想讓 AI 和人一起參與即時互動。它會持續聽對方說話、觀察對方的動作,再判斷何時該接話或等待,並同步產生語音和影片。這讓雙方能一起看物品、改變場景、接受引導或玩影音遊戲。inclusionAI 也釋出多種模型版本,並提供研究用流程和即時部署方式。

    推薦理由:Duo 把即時影音互動中的理解、發言時機與影音生成串在一起,呈現模型如何參與雙向交流的研究方向。

  2. ModelScope66

    讓 AI 角色跟著語音說話時,嘴型、表情和身體動作有時不夠自然,影片變長後也可能逐漸失去一致性。LongCat-Video-Avatar 1.6 改善語音和嘴型同步、臉部與身體動作,也降低說話時嘴巴動作過大的情況,並讓影片延續到超過 10 分鐘時更能維持角色樣貌和畫面連貫。它支援單人與多人角色影片,也能從音訊、文字、圖片或既有影片開始生成。在 33,051 張投票、共 6 個系統的評比中,它排名第二。

    推薦理由:LongCat-Video-Avatar 1.6 在 33,051 張投票的偏好評比中排名第二,也主打改善長影片延續時的角色一致性,提供了比較表現與長片能力的參考。