跳到正文

語音與音訊

AI 語音與音訊的進展:語音合成、即時對話、音樂生成與音訊理解的模型與產品。

最新精選

第 41–60 條 · 共 60 條
11月3日週二
10月29日週四
  1. Hugging Face Blog75

    推出 AnySpeechRecognizer 與 AnyDecisionModel:Apple 平臺開放式語音與決策模型

    AnySpeechRecognizer:Swift 套件,支援 Apple Speech API、NVIDIA Parakeet、Alibaba Qwen3-ASR 等多引擎,並提供說話人分離功能。

    推薦理由:AnySpeechRecognizer 與 AnyDecisionModel 讓開發者能在 Apple 平臺快速接入多引擎語音辨識與決策模型,支援多語言、即時會話與說話人分離,並可本地化執行,顯著提升效能與成本效益。

  2. Armin Ronacher (lucumr)65

    Armin Ronacher 示範用 Qwen3-TTS 混合聲音與調整語氣

    想替遊戲做旁白時,現成的 AI 聲音可能不夠有特色。Armin Ronacher 用自己的演講錄音測試 Qwen3-TTS,示範把錄音和文字描述產生的聲音混合,也試著替克隆出的聲音加上悲傷等語氣指示。他發現,混合聲音向量能做出不同音色,克隆聲音也能配合指示改變語氣,但效果不如內建聲音穩定。文章也提醒,普通錄音就可能做出相當像本人的聲音,低音質通話情境下尤其可能讓人誤認。

    推薦理由:作者以自己的錄音示範如何混合 Qwen3-TTS 的聲音向量,也測試克隆聲音加上情緒指示的效果,提供製作旁白的實作參考。

10月27日週二
  1. Google Developers Blog74

    逐步指南:使用 ADK 建置永不沉默的語音代理

    ADK 與 Gemini 3.8 Live 讓語音代理能在後端執行 13 秒查詢時,仍保持對話流暢,首次回應時間從 14.4 秒降至 1.2 秒。

    推薦理由:此指南說明如何使用 ADK 及 Gemini 3.8 Live 透過非阻塞工具實現流暢語音代理,對想打造即時語音助手的開發者極具參考價值。

  2. Hugging Face Transformers Releases80

    Hugging Face Transformers v5.21.0 發布新模型與功能

    Hugging Face Transformers v5.21.0 釋出,新增多款模型與功能,為開發者帶來更豐富的多模態與語音處理選擇。

    推薦理由:新版本提供多種文件與語音模型,涵蓋 OCR、視覺檢索與 TTS,讓開發者能快速整合多模態功能,並享受最新的量化與 FP8 加速最佳化。

10月23日週五
  1. AWS Machine Learning Blog75

    Amazon Polly 推出生成引擎重大升級

    Amazon Polly 於 2026 年 10 月推出生成引擎重大升級,新增 14 款語音並首次支援印地語與芬蘭語,使用者可無縫升級並享受更自然、低延遲的語音輸出。

    推薦理由:Amazon Polly 生成引擎升級後,新增 14 款語音並首次支援印地語與芬蘭語,使用者可無縫升級並享受更自然、低延遲的語音輸出,對企業大規模語音服務是一大提升。

  2. AWS Machine Learning Blog81

    停止猜測 Amazon SageMaker AI 上 TTS 的自動擴縮目標

    Kokoro‑82M 在 Amazon SageMaker AI 上被部署為自訂容器,並以兩項實測資料取代預設的 auto‑scaling 引數。 - Q_max:單一實例在 95% SLO(3,000 ms)下可支援最高 50 個併發請求,超過即會違規。

    推薦理由:本篇示範如何以實測資料取代預設 auto‑scaling 引數,並提供完整的測試流程與驗證機制,幫助開發者在 SageMaker 上部署高效、可靠的 TTS 服務。

10月21日週三
10月20日週二
  1. Hacker News (official RSS)85

    Mercury 3:擴散式 LLM 的規模化

    Mercury 3 是目前最強大的擴散式 LLM,速度可達 1,068 tokens/s,並支援 1M token 上下文。 - 效能對比:在多項基準上優於 GPT‑6 Luna 與 Claude Haiku 5.5。

    推薦理由:Mercury 3 以 diffusion 模型突破規模與速度,提供 1M 上下文及 1,068 tokens/s 的高效推論,對需要低延遲、長上下文的即時應用具備實際價值。

10月16日週五
  1. Hugging Face Blog72

    Granite Switch 4.1:一端點整合聊天、決策與語音功能

    Granite Switch 4.1 透過整合決策、語音與聊天功能,提供單一端點多工能力。 - Granite‑Switch‑4.1‑8B / 30B:內建 Decision aLoRA、Guardian aLoRA 及 Granite‑Speech‑5.0‑Turbo‑CTC(OpenASR 榜首 ASR),可即時切換對話、決策與轉錄。

    推薦理由:Granite Switch 4.1 透過整合決策、語音與聊天功能,提供單一端點多工能力,讀者可評估其在實務流程中的效益。

10月7日週三
  1. AWS Machine Learning Blog72

    使用 Amazon Bedrock AgentCore、Nova Sonic 與 Managed Knowledge Base 建置語音旅遊管家

    Amazon Bedrock AgentCore、Nova Sonic 與 Managed Knowledge Base 共同打造的語音旅遊管家,可讓旅客透過語音改簽、查延遲、查詢政策並連線真人客服。

    推薦理由:示範如何利用 Bedrock AgentCore、Nova Sonic 與 Knowledge Bases 建構可擴充的語音旅遊管家,並提供完整部署指令碼。

10月2日週五
  1. ElevenLabs Official Blog75

    如何在 Eleven v4 AI 語音合成中加入停頓

    Eleven v4 透過 Audio Tags 讓指令碼中加入停頓變得簡單,提升語音合成的自然度與情感表現。 - Audio Tags:以 [pause]、[long pause]、[whispers] 等文字指令取代 SSML,直接寫入指令碼即可。

    推薦理由:本文說明 Eleven v4 透過 Audio Tags 精準控制停頓,提升語音合成自然度,對音訊製作人極具參考價值,亦可應用於廣告與配音領域。

9月10日週四
  1. Hugging Face Transformers Releases80

    Hugging Face Transformers v5.17.0 發布:新增多款前沿開源模型與架構支援

    Hugging Face Transformers v5.17.0 正式發布,本次更新擴充多項全新模型架構與重大功能改進,涵蓋多模態、語音識別及混合專家模型支援: - 新模型與架構新增: - HYV4:780B 引數的混合專家(MoE)模型,每 Token 啟動 49B 引數,具備 1M tokens 上下文視窗。

    推薦理由:此版本擴充多項新模型架構與語音多模態支援,開發者可藉此評估最新開源模型的整合與升級選項。

6月30日週二
  1. Air Street Press79

    ElevenLabs 口語模型在 GPU 缺乏時提升使用者吞吐的工程實踐

    ElevenLabs 口語模型在 GPU 缺乏時提升使用者吞吐的工程實踐 - 批次化:連續批次化可將 GPU 佔用率提升至 95%,每個 GPU 可同時處理多個請求,減少等待時間。

    推薦理由:文章以 ElevenLabs 口語模型實測為基礎,闡述批次化、量化、KV 壓縮等技術在 GPU 資源稀缺時提升使用者吞吐的方案,對語音服務成本與效能提供參考。

6月17日週三
  1. LMSYS Org Blog66

    SGLang-Omni 開始支援 MOSS-TTS Local Transformer v1.5 語音生成

    語音生成要先處理參考音訊,再逐步產生語音,最後解碼成聲音;把這些工作塞進同一個模型流程,容易遇到速度和記憶體管理問題。MOSI、OpenMOSS Team 與 SGLang-Omni Team 把 MOSS-TTS Local Transformer v1.5 拆成音訊前處理、文字轉語音生成和聲音解碼三個階段,支援邊生成邊輸出音訊。作者也測試了重用參考音訊、加快短音訊解碼等做法;在 SeedTTS 英文測試中,非串流平均每秒處理 5.976 個請求,串流則為 2.909 個,兩種模式的 WER 分別是 1.75% 和 2.14%。這些數字來自特定測試設定,文章也說不同最佳化測試的結果不能直接相加。

    推薦理由:文章拆解語音生成服務的三個階段,並以快取、CUDA Graph 與記憶體配置的測試結果,呈現各項調整如何影響速度與串流表現。

6月4日週四
  1. LMSYS Org Blog71

    SGLang-Omni 開始支援 Higgs Audio v3 TTS 即時語音生成

    語音 AI 助理得在文字還沒說完時就開始回話,還要維持聲音和說話情緒一致。Boson AI 與 SGLang-Omni 團隊宣佈,Higgs Audio v3 TTS 已能透過 SGLang-Omni 即時生成語音;文字一邊送進來,系統就能一邊合成音訊,使用者也能用文字標籤調整情緒、語氣、速度、音高和音效。模型支援 100 種語言,並可用一小段參考錄音跨語言模仿聲音。文章也分享服務速度測試,以及 SGLang-Omni 如何把語音生成拆成多個階段來排程和傳遞資料。

    推薦理由:文章比較多階段語音生成與一般模型服務的差異,並說明 SGLang-Omni 如何分段排程、串流傳音訊及管理 GPU 記憶體。

5月1日週五