跳到正文

#語音

RSS
今日 4 則
11月20日週五
  1. Dev.to Top Tech72

    六種語音隔離工具實測:Krisp 如何減少語音助理聽錯旁人說話

    語音助理在吵雜環境中,常把旁人的說話也當成使用者的指令,造成辨識錯誤或打斷對話。作者用同一批錄音和同一套語音辨識工具比較六種方案,發現降噪主要處理風扇、車聲等噪音,語音分離則會拆出多個聲音,還得另外挑出要聽的那個人;語音隔離才會直接保留主要說話者。作者測試的 Krisp Voice Isolation 把背景人聲誤認字數從 548 個降到 63 個;DeepFilterNet 也減少了部分背景人聲,卻多刪掉主要說話者的字。文中也整理各工具的價格、延遲和適用情境,提醒開發者用自己的錄音確認效果。

  2. Dev.to Top Tech58

    AssemblyAI 推出 STT-3.7 即時語音模型,86 毫秒產生最終逐字稿

    即時語音翻譯看起來很快,整段對話仍可能因為收音和傳送音訊而延遲。AssemblyAI 在 11 月 18 日推出三款 STT-3.7 模型,其中 Realtime-Agent 在語音結束後 86 毫秒產生最終逐字稿;這項數字來自 AssemblyAI 自家的測試。文章也說明,在 Windows 通話程式旁顯示翻譯建議時,麥克風和通話聲音要分開收錄,才能保留說話者資訊。作者估計,調校良好的電腦從說話結束到畫面顯示文字,通常要 150 到 400 毫秒;WASAPI 收音緩衝和網路傳送都會增加時間,因此只看模型速度無法代表整體體驗。

  3. Dev.to Top Tech37

    ElevenLabs 語音 AI 如何處理 API 限流並用快取加快回應

    做語音 AI 服務時,如果短時間送出太多要求,API 可能會回傳 429 錯誤;每次都重新合成語音,也會增加等待時間和費用。文章用 ElevenLabs 的文字轉語音服務舉例,建議先檢視快取裡有沒有相同文字的音檔,沒有的話再確認是否能呼叫 API,合成後把音檔存起來下次使用。像是每分鐘最多 30 次的文字轉語音要求,可以用「令牌桶」控制呼叫速度;收到 429 時,則依照服務提供的等待時間再試。這些做法能減少重複呼叫,讓服務更快,也比較不容易撞上流量限制。

  4. Dev.to Top Tech56

    ElevenLabs 和 Cartesia 每分鐘語音費用差多少?用同一單位比較方案

    語音工具用「點數」標價,乍看很難知道做一分鐘語音到底要花多少錢。作者把 ElevenLabs 和 Cartesia 的月費除以方案包含的語音分鐘數,讓價格能直接比較:ElevenLabs 付費方案每分鐘約 0.165 到 0.200 美元,Cartesia 約 0.028 到 0.038 美元。作者也提醒,便宜不代表適合所有工作:ElevenLabs 提供配音和有聲書製作功能,Cartesia 主打低延遲語音,適合需要快速回應的對話式 AI 助理。文中的價格來自作者於 2026 年 11 月 20 日查閱的方案資訊。

  5. Dev.to Top Tech56

    MiMo TTS API 教學:把文字轉成可播放的 WAV 音訊

    呼叫 MiMo TTS API 後,收到的 JSON 裡有音訊資料,但直接把整份 JSON 存成 WAV 檔,音訊仍然無法播放。這份教學示範如何送出文字與語氣設定、解碼回應中的音訊,再檢查 WAV 檔是否完整,最後實際播放確認內容和語速。作者也提供先在本機準備請求、確認後才連線合成的做法;如果音訊已經收到但存檔失敗,可以從保留的回應檔重新解碼,不必先重送合成請求。

  6. Dev.to Top Tech72

    Krisp Voice Isolation API 評測:減少通話背景人聲幹擾

    語音 AI 助理在通話中可能把旁人的話當成來電者說的內容,讓辨識結果和回話出錯。作者用 Krisp Voice Isolation API 處理 8 段公開錄音,再交給語音辨識模型轉成文字;測試中,辨識錯誤率從 40.1% 降到 10.2%,背景人聲產生的 331 個字也沒有出現在處理後的結果裡。不過,沒有其他人聲的乾淨通話有時會稍微變差;API 目前只在美國提供,遠距使用會多出網路延遲。這項工具較適合常在辦公室、家庭或客服中心接聽電話的語音 AI 助理。

  7. Dev.to Top Tech62

    ja-reading-tagger-v1 用上下文判斷日文漢字讀音

    日文有些漢字要看前後文才知道怎麼念,字典通常只能挑一個預設讀音。Japan Open Data Lab 發布 ja-reading-tagger-v1,會按句子判斷每段文字的讀法,並分別提供假名標註和語音合成用的發音。在以易混讀音詞句組成的測試中,它的句子讀音正確率是 0.7230,高於 Sudachi 的 0.5570;但一般文章中,它是 0.9360,略低於 Sudachi 的 0.9432。模型不處理人名讀音,因此是否適用,要看文字裡這類詞句多不多。

  8. Dev.to Top Tech61

    HardCall 如何用雙迴圈改善語音 AI 插話延遲

    語音 AI 如果要等使用者說完才停下來,常會和使用者的聲音重疊,讓對話很不自然。HardCall 把處理拆成兩個步驟:先用本機語音偵測,在約 18ms 內發現有人開口並清空待播放的聲音;接著再判斷這句話是反駁、附和,還是雜音。作者表示,這套做法讓插話延遲降到 52.16ms,也能減少咳嗽或敲鍵盤造成的誤判。HardCall 是開源的語音面試與高壓情境練習工具。

  9. Dev.to Top Tech43

    如何為 Whisper.cpp 建立 CPU 與 GPU 容器映像檔並上傳

    Whisper.cpp 可以用 CPU 或 GPU 把語音轉成文字。這份教學帶你準備伺服器、下載 Whisper.cpp 專案,再用不同的 Docker 設定檔,分別打包成適合 CPU 或 GPU 的容器映像檔,最後上傳到容器登入庫。文中範例做出的 CPU 映像檔大小是 608MB,GPU 映像檔是 2.76GB;使用 GPU 版本時,主機的 CUDA 版本要符合設定檔要求。完成後,就能把映像檔放到轉錄流程中使用。

  10. Dev.to Top Tech37

    Voice AI 音訊格式與音質設定怎麼選

    Voice AI 產生語音時,選錯音訊格式或音質設定,可能讓聲音失真、檔案太大,或在某些裝置上播不出來。WAV、FLAC 適合儲存音質完整的音訊;MP3、AAC 檔案較小,適合分享和播放;需要即時對話時,OGG 容器搭配 Opus 延遲較低。一般語音可以選 MP3 的 128–192 kbps,或 AAC 的 96–128 kbps,單聲道通常就夠用。 設定取捨時,也要配合模型輸出的取樣率:例如 TTS 輸出 24 kHz 音訊,直接降成 16 kHz 可能讓聲音變差,除非使用適當的濾波處理。文章也以 ElevenLabs 為例,示範如何指定輸出格式、取樣率和位元率。先想好音訊要儲存、串流還是即時播放,再依裝置調整設定,才能兼顧音質、檔案大小和相容性。

  11. Vercel Blog51

    OpenAI 發布 GPT-Live 1.1,Vercel AI Gateway 已可使用

    AI 助理講話時,使用者有時需要插話或補充細節。OpenAI 的 GPT-Live 1.1 可以一邊說話一邊聽,也能讓來電者打斷或補充內容;相較前一版,它的語音轉文字更準確,跨語言時的口音和聲音也更一致。這個模型已能透過 Vercel AI Gateway 使用,原本串接 GPT-Live 的程式只要換成新的模型 ID。若開啟代辦功能,AI 助理可以請其他文字模型幫忙,再把結果轉成語音;這些代辦請求會另外計費,而語音工作階段在代辦執行期間仍會繼續計費。

  12. AWS Machine Learning Blog66

    Amazon Polly 開放語音複製,幾分鐘錄音就能建立品牌聲音

    客服、教材或廣告常需要同一種聲音,改稿時若要重新錄音也很花時間。Amazon Polly 現在提供語音複製功能,取得說話者同意後,使用 1 到 10 段錄音就能建立克隆語音,通常需要 5 到 10 分鐘,之後可用來朗讀新文字。功能支援英文、西班牙文、德文、法文、義大利文、葡萄牙文和印地語,每個聲音只會說錄音使用的語言。語音會加密並限制帳戶存取,合成音訊也會加上浮水印;建立語音免費,使用時按量收費。目前須先取得帳戶使用許可權。

    推薦理由:Amazon Polly 可用幾分鐘錄音建立指定語言的克隆語音,並透過 API 用於客服、教材與遊戲等情境;文章也交代同意確認、許可權控管和刪除方式。

  13. Lobste.rs (Engineering Discussion)62

    Platypush 作者重整自架語音助理流程,改善吵雜環境下的辨識

    自架語音助理在吵雜環境或使用便宜麥克風時,可能會把背景聲當成喚醒詞,也可能抓不準使用者何時說完。Platypush 作者換用 microWakeWord 偵測喚醒詞,並調整語音活動偵測,讓系統一起參考聲音大小、背景噪音和一小段時間內的判斷結果。合成測試中,新流程會在最後一句話後約 1.0–1.6 秒結束對話;舊設定則可能多等 6–10 秒。作者也提醒,不同房間和麥克風可能需要調整設定。

    推薦理由:作者比較改造前後的語音辨識收尾時間,並說明喚醒詞、語音偵測與背景噪音處理的調整方式,提供自架語音助理的實作參考。

  14. hackernews10069

    Pete Warden 談本機 AI、語音介面與 AI 硬體的未來

    AI 越來越常靠雲端運作,但這會帶來費用、網路連線和資料隱私等考量。Pete Warden 在訪談中談到,本機模型已能處理不少日常工作,放在自己的電腦或企業掌控的伺服器上,也能減少對外部服務的依賴。他還認為,語音介面要讓人用得自然,回應速度很重要;如果等待太久,使用者會不確定系統有沒有聽見。至於 AI 硬體,他談到記憶體頻寬和不同型別的加速器,認為執行模型的需求和訓練模型並不一樣。

  15. ElevenLabs39

    保險理賠被拒時,醫療帳務人員得打電話給保險公司,弄清楚拒賠原因和接下來該怎麼做;一次通話可能花上 10 分鐘到 1 小時,而且每家保險公司都有不同的電話選單。Candid Health 使用 ElevenLabs 的 ElevenAgents,並調整 AI 助理說話的語氣、速度和停頓。在 12,860 通試行電話中,AI 助理有 59% 的通話找出拒賠原因和下一步。這表示它不只要問到部分答案,還得完成整通電話,才能實際減輕帳務人員的工作。

  16. ElevenLabs Official Blog50

    Candid Health 用 ElevenAgents 自動打電話查保險理賠問題

    保險理賠被拒時,醫院的帳務人員得打電話查原因,一通可能花上 10 分鐘到 1 小時。Candid Health 用 ElevenAgents 打電話詢問保險公司,找出拒賠原因和接下來該怎麼處理;一開始就處理了 12,860 通電話,替員工省下超過 850 小時,並成功解決 59% 的試辦電話。像是查出醫療人員在看診當天沒有完成保險公司的資格登記,修正這類問題就能避免後續理賠再被拒。客服和帳務團隊也能自己調整、測試 AI 助理,讓工程師專心處理系統穩定和擴充。

  17. AWS Machine Learning Blog58

    PolyAI Dialog-RSN-1 登上 Amazon SageMaker JumpStart,可部署到自己的 AWS 帳戶

    處理即時客服電話時,模型要聽懂來電者的話,也得及時回答。PolyAI 的 Dialog-RSN-1 現在可透過 AWS Marketplace 或 Amazon SageMaker JumpStart 部署到自己的 AWS 帳戶,直接聽取電話音訊並即時回應,不必先轉成文字再交給另一個模型處理。部署後,通話音訊和逐字稿留在使用者控制的環境中;團隊也能依需求選擇偏重回應速度、處理量、成本或平衡的設定檔。模型目前只支援英文,連線最長為 30 分鐘。

11月19日週四
  1. Dev.to Top Tech50

    Handy 推出可完全離線使用的語音轉文字 App

    用語音記筆記、寫程式留言或傳訊息很方便,但有些人希望錄下的內容留在自己的電腦裡。Handy 是一款免費的桌面 App,能在電腦上把語音轉成文字,不必把錄音送到網路服務處理;它也支援 Windows、macOS 和 Linux。對想用說話輸入、又在意資料留在本機的人來說,Handy 提供了另一種選擇。

  2. Dev.to Top Tech52

    Aemon 示範如何把 Apple Podcasts 和 RSS 播客轉成文字

    播客裡有很多知識,但 AI 助理無法直接搜尋或引用音訊內容。Aemon 示範如何把 Apple Podcasts 連結或 RSS 來源中的節目音訊轉成帶時間戳記的文字,也提供免寫程式、JavaScript 和 Python 做法。長節目會先切成較短的音訊片段,再用 Whisper 轉錄,並整理成 JSON 等格式;轉好的文字可用來搜尋節目內容,或建立問答資料。文章也提醒,Spotify 音訊有 DRM 限制,應改用 Apple Podcasts 連結或公開 RSS。作者同時說明,他是文中所用 Podcast to Text Actor 的作者。

  3. Dev.to Top Tech50

    Android 語音輸入不用月付費:免費和一次買斷的選擇

    在 Android 手機上用說的代替打字,不一定要每月付錢:Gboard 語音輸入免費,也能下載語音資料離線使用,但只能轉成純文字,沒有紀錄或排版功能。像 Spokenly、FUTO Keyboard 和 Utterwove 則有免費方案或一次買斷選擇;例如 Utterwove 在 Google Play 印度區售價是 ₹470。Wispr Flow、Typeless 和 Aqua Voice 等服務採用訂閱制,價格和功能各不相同。挑選時可以先想想自己要不要離線使用、需要哪些語言,以及會不會常用;若只是偶爾傳訊息,免費的 Gboard 可能就夠了。

  4. 雷科技47

    Bose Ultra 開放式耳機 II 評測:音質依舊出色,領先對手的差距縮小了

    Bose Ultra 開放式耳機 II 戴起來舒服,音量比上一代更夠,也改善了低音和通話表現,充電盒還新增無線充電。看電影時開啟電影模式,人物對白會更集中,環境聲則散佈在四周;不過在風大的地方,通話仍可能不清楚。它聽起來依舊有 Bose 的特色,但近年其他品牌的耳夾式耳機也進步不少,Bose 已不像以前那樣只靠音質就能拉開明顯差距;而且 App 功能較少,也沒有摘下耳機就自動暫停音樂的功能。

  5. Dev.to Top Tech58

    通話錄音 API 實務指南:分開聲道、取得同意並妥善刪除資料

    通話錄音不只是把聲音存下來,還得處理同意、信用卡資料和何時刪除,才能說清楚每筆錄音後來去了哪裡。作者整理了一套實作流程:錄音前先取得同意,使用雙聲道分開儲存雙方聲音,再用 webhook 收到完成通知並檢查錄音是否漏收;轉成文字前先遮掉卡號和身分資料,並把存取與刪除紀錄留下來。文章也提醒,信用卡安全碼在授權後不能留在可查詢的錄音中;若平臺通知漏掉,可用清單重新核對錄音。保留多久則要依用途和適用規定分別設定,並在目的結束後刪除相關音檔、文字和分析資料。

  6. Dev.to Top Tech69

    Stream-Subs 如何在本機為直播加入即時字幕

    雲端字幕可能有延遲、用量限制,也得把音訊交給外部服務;Stream-Subs 是作者做的本機字幕工具,能把俄語語音翻成英文並顯示在 OBS 畫面上。它先過濾靜音和雜音,再辨識語音、翻譯,最後把字幕送到瀏覽器來源;辨識後也會濾掉重複句子等內容。作者在 RTX 2070 上測得,處理 30 秒音訊約需 0.36–1.62 秒,速度會隨模型和語音量改變。首次啟動約要下載 4.9 GB 模型;目前只支援 Windows,效果也受硬體影響,不適合取代法律或醫療場合的真人口譯。

  7. Dev.to Top Tech64

    如何用 Python 從雙聲道通話錄音量出 AI 助理停止說話的時間

    語音 AI 助理聽到來電者插話時,系統紀錄的停止時間不一定等於來電者實際聽到助理繼續說話的時間。作者示範用 Python 把來電者和助理的聲音分開錄在 WAV 左右聲道,再用 bargein.py 找出兩邊開始和停止說話的時間,並依來電者的意圖判斷助理是及時停下、沒停、忽略附和聲,還是被背景聲音誤觸發。在 70 通指令碼測試中,助理通常在插話後 0.78 秒停止;「嗯嗯」沒有讓它停下,但電視新聞聲在 10 通測試裡都讓它停止。作者也提醒,實際音效卡和電話線的延遲可能讓測量結果不同。

  8. Dev.to Top Tech59

    作者打造 Daniela 語音服務,讓 Pi 和 Claude Code 共用語音助理

    同時使用多個 AI 助理時,逐個切換視窗檢視進度很麻煩,語音回報也可能互相蓋過。作者把原本各自運作的語音功能集中到一個 Windows 本機服務,讓 Pi 和 Claude Code 共用麥克風、喇叭與播放佇列;助理先用語音報告重點,使用者再決定要不要聽詳細內容,也能用語音輸入回覆。兩個助理同時發話時,佇列會讓它們依序播放。作者也為服務加入權杖驗證等防護,避免網頁讀取待播訊息或訂閱語音資料。目前只在作者自己的工作環境使用,尚未公開專案。

  9. ElevenLabs Official Blog71

    ElevenLabs 推出醫療版 ElevenAgents,協助處理病患與醫療團隊來電

    病患打電話預約或詢問資料時,若 AI 助理聽錯藥名、插話,或無法連上院方系統,事情就得重來。ElevenLabs 推出醫療版 ElevenAgents,搭配 Scribe v3 Live Medical 即時辨識醫療用語,也能接上預約、病歷和電話系統;遇到症狀問題或敏感資料,團隊可設定轉給真人處理。Cadence 使用這套服務聯絡慢性病患者後,聯絡到患者的中位時間從近兩小時降到 3.5 分鐘;患者接聽 AI 助理來電的比例也比接聽護理師來電高 47%。

    推薦理由:文章以醫療客服案例和轉錄測試結果,說明語音辨識、通話流程與人工轉接如何配合處理預約及病患來電。

  10. Dev.to Top Tech42

    AI 語音模型如何訓練:從文字和錄音到自然語音

    讓電腦把文字念得像真人,得先準備乾淨的錄音和正確逐字稿,讓模型學會文字和聲音的對應方式,再把產生的聲音播出來。文章介紹幾種做法,其中 VITS 能直接從文字產生語音;若要模仿某個人的聲音,也能用那個人的少量錄音微調模型。像 ElevenLabs 則提供 API,讓開發者不用自己準備資料、訓練模型和管理 GPU,也能把文字轉成語音。

  11. Dev.to Top Tech70

    TalkSmart 作者把 Gemini Live API 語音費用降低 62%

    即時語音對話越聊越久,模型每一輪都會重新計算先前的對話內容,費用可能比只看新音訊估算的數字高出許多。TalkSmart 作者發現,12 分鐘對話實際約花 $0.40,而原先估算只有 $0.11。他每隔幾輪請便宜的文字模型整理對話重點,再開新語音連線接著聊,並在切換時暫存學習者的語音,避免漏掉發言。一次 10.4 分鐘測試花費比 9.7 分鐘、未重設的對話少 62%;作者提醒這是單次測量,不是基準測試。

  12. aihot77

    Google DeepMind 開放 Genie 4,讓使用者邊探索邊改變世界

    想像中的世界生成後,往往不容易再改變裡面的場景。Google DeepMind 在 11 月 18 日向符合條件的 Google AI Ultra 訂閱者開放 Project Genie 新體驗,首次提供 Genie 4。使用者探索時可以輸入提示詞,即時改變天氣、加入角色或調整劇情,場景也會搭配原生音訊。更新後的 Genie 3 每次最多可探索 3 分鐘,也能用 360 度全景圖作為起始場景。這些模型仍在研究階段,生成的影音會加上 SynthID 水印,輸入和輸出也會經過安全篩查。

    推薦理由:Genie 4 可在探索途中依提示詞即時改變場景,並加入會隨畫面變化的原生音訊,呈現世界模型的互動方式。

  13. AWS Machine Learning Blog47

    Stretto 如何用 Amazon Nova 2 Sonic 打造破產諮詢電話 AI 助理

    Bankruptcy.com 原本用網頁表單收集資料,但問題問得太多,民眾常填到一半就離開;只收少量資料,又不夠律師判斷。Stretto 和 CI&T 因此打造 AI 助理 Tara,讓民眾用電話回答破產相關問題,再把談話整理成資料,交給律師訂下的規則分類,供律師判斷。 Tara 使用 Amazon Nova 2 Sonic 和 Amazon Bedrock,能一邊聽、一邊用語音回應,也會依來電者的情緒調整說話方式。完成試用後,團隊先讓它收集原本表單上的 13 項資料,再擴大到 18 種以上的問題類別,例如債務、車輛、房產和工作收入。Stretto 表示,每分鐘語音費用比舊方案少了 95%。這讓民眾能用聊天的方式提供較完整的資料,律師也更容易評估案件。

  14. The Decoder75

    Microsoft 一次推出 7 款 AI 模型,想用較低成本取代自家產品中的外部模型

    長時間使用 AI 助理會花掉大量 token,Microsoft 因此一次推出 7 款模型,涵蓋寫程式、資安、圖片、語音、搜尋和工作流程判斷,主打用較低成本完成工作。Microsoft 表示,MAI Code 2 在多項測試中接近 GPT-6.1 Sol 和 Claude Opus 5.5,價格則低得多;MAI Image 2.7 可修改圖片中的個別物件,MAI Realtime 1 則能處理語音對話中的插話和背景噪音。各模型的開放方式不同,有些已能使用,有些仍在預覽或只提供特定客戶。文中的效能與價格比較主要來自 Microsoft 的測試和說法。