OpenAI 語音模型聽得懂歌詞,卻難以辨認哼唱旋律
用語音和 AI 助理聊天時,聽起來像是它聽懂了整段聲音,但它可能主要靠歌詞回答。作者用歌曲哼唱和唱出歌詞的錄音,比較 OpenAI 的三種開發者語音模型:有歌詞時,模型大多能認出歌曲;沒有歌詞時,幾乎都答不出來,甚至會把不同哼唱猜成同一首歌。模型仍能辨認部分情緒和音高變化,顯示聲音線索有傳進去,只是旋律資訊不足以穩定認歌。這些測試不代表所有公司的模型,ChatGPT 語音功能也只做了少量手動測試。
用語音和 AI 助理聊天時,聽起來像是它聽懂了整段聲音,但它可能主要靠歌詞回答。作者用歌曲哼唱和唱出歌詞的錄音,比較 OpenAI 的三種開發者語音模型:有歌詞時,模型大多能認出歌曲;沒有歌詞時,幾乎都答不出來,甚至會把不同哼唱猜成同一首歌。模型仍能辨認部分情緒和音高變化,顯示聲音線索有傳進去,只是旋律資訊不足以穩定認歌。這些測試不代表所有公司的模型,ChatGPT 語音功能也只做了少量手動測試。
人聽到鳥叫、看到畫面時,常能把聲音、影像和語言連在一起;多模態 AI 看起來也會,但有時其實沒聽懂,只是在猜答案。MIT-IBM 研究團隊用少量標註資料訓練模型,並設計測試方法找出這些問題。例如,選擇題問音訊裡是哪種動物在吼,有些模型就算只聽到隨機雜音也答得不錯,表示它可能只看選項猜,沒有仔細聽。團隊正設法讓模型更注意聲音,也研究讓 AI 助理能一邊聽、一邊說話,讓對話不必僵硬地輪流發言。
語音工具用「點數」標價,乍看很難知道做一分鐘語音到底要花多少錢。作者把 ElevenLabs 和 Cartesia 的月費除以方案包含的語音分鐘數,讓價格能直接比較:ElevenLabs 付費方案每分鐘約 0.165 到 0.200 美元,Cartesia 約 0.028 到 0.038 美元。作者也提醒,便宜不代表適合所有工作:ElevenLabs 提供配音和有聲書製作功能,Cartesia 主打低延遲語音,適合需要快速回應的對話式 AI 助理。文中的價格來自作者於 2026 年 11 月 20 日查閱的方案資訊。
AI 越來越常靠雲端運作,但這會帶來費用、網路連線和資料隱私等考量。Pete Warden 在訪談中談到,本機模型已能處理不少日常工作,放在自己的電腦或企業掌控的伺服器上,也能減少對外部服務的依賴。他還認為,語音介面要讓人用得自然,回應速度很重要;如果等待太久,使用者會不確定系統有沒有聽見。至於 AI 硬體,他談到記憶體頻寬和不同型別的加速器,認為執行模型的需求和訓練模型並不一樣。
做語音產品時,非英語語音的費用可能高出不少。作者整理多家廠商公開的文字轉語音價格,發現西班牙語、日語和中文等語言,最低每 100 萬字元約 $4;斯瓦希里語約 $15,約魯巴語則要 $40,而且只有 2 個模型公佈價格。相較之下,斯瓦希里語的語音轉文字最低每小時 $0.10,和印地語、阿拉伯語、泰米爾語相同。這可能是因為語音辨識模型常能一次處理多種語言,但語音合成較依賴各語言個別製作的聲音。價格只是公開的最低方案,聲音品質也有差異;如果要做非英語市場的語音產品,先比價才能看清實際選擇。
小型文字轉語音模型變得又快又省,但不同文章和宣傳頁面的速度數字不一定是在相同條件下測出的。作者查閱 ZONOS3-Mini 技術報告,發現單次請求在 H100 上要 85 毫秒才有第一段音訊;流傳的 13.7 毫秒找不到來源,而 80 毫秒是 8 個請求同時執行時的中位數。文章也比較多款小型模型,指出它們已能清楚念出英文,甚至可在裝置上運作,但常只有少數固定聲音,念法較缺乏變化,遇到人名、數字和外語也可能出錯。選模型時,速度和錯字率要連同測試裝置、使用方式一起看。
語音助理在多人交談或背景有其他聲音時,可能太早接話,或把不相關的聲音當成問題。這篇文章整理 MOSS-Live 官網公佈的評測圖表,與 GPT-Live-1、豆包及其他模型比較:MOSS-Live 的無關語音誤接話率是 2%,停頓搶話率是 1.44%,六項全雙工指標都在圖表參評模型中居首。文章也指出,它的工具呼叫成功率與豆包並列最高;但多輪任務成功率落後 GPT-Live-1,語音理解準確率則低於豆包。這些數字來自產品方公佈的評測,文章提醒不同基準不能混成單一總分。
Vercel 發布 2026 年 11 月 AI Gateway Production Index,指出決策模型已佔 10 月全部請求的 26%,而新付費團隊首選 Anthropic 的數量近乎是 OpenAI 的兩倍。
推薦理由:Vercel 以匿名彙總流量呈現模型採用與更替速度,並列出各項統計口徑,便於理解企業團隊的實際使用變化。
Hugging Face Open ASR Leaderboard 的平均 WER 計算方式不一致,造成排名差異。 - 資料量:共 65 條記錄,45 條來自未合併的 PR,20 條已提交至主分支。
summary_zh: - PolyAI 的 CTO Shawn Wen 表示已經完成全雙工模型(full‑duplex),但「語音 AI 尚未進入 ChatGPT 時刻」;未來重點在於提升推理速度,讓回應更即時、對話更自然。
Alexa Plus 在家居控制上已大幅提升,但在成為個人助理方面仍有缺陷。 - 功能提升 - 自 2025 年 7 月進入早期訪問後,Alexa Plus 能以更自然的語音指令控制燈光、溫控、Ring 相機等多種裝置,並支援多步驟流程。