跳到正文

#語音

RSS
今日 4 則
10月11日週日
10月9日週五
  1. Hacker News (official RSS)68

    Whistle:16.9 MB 內即時語音轉文字

    Whistle 是一款 16.9 MB 的語音辨識模型,能在單一 CPU 引擎上即時處理七種語言,首詞延遲僅 11 ms。 - 體積與執行:16.9 MB,無需額外依賴,直接載入同一 C++ 引擎,支援 Android、iOS、Windows ARM、RISC‑V、MIPS、瀏覽器及 WASI。

10月8日週四
10月7日週三
  1. AWS Machine Learning Blog72

    使用 Amazon Bedrock AgentCore、Nova Sonic 與 Managed Knowledge Base 建置語音旅遊管家

    Amazon Bedrock AgentCore、Nova Sonic 與 Managed Knowledge Base 共同打造的語音旅遊管家,可讓旅客透過語音改簽、查延遲、查詢政策並連線真人客服。

    推薦理由:示範如何利用 Bedrock AgentCore、Nova Sonic 與 Knowledge Bases 建構可擴充的語音旅遊管家,並提供完整部署指令碼。

10月6日週二
10月3日週六
10月2日週五
  1. ElevenLabs Official Blog75

    如何在 Eleven v4 AI 語音合成中加入停頓

    Eleven v4 透過 Audio Tags 讓指令碼中加入停頓變得簡單,提升語音合成的自然度與情感表現。 - Audio Tags:以 [pause]、[long pause]、[whispers] 等文字指令取代 SSML,直接寫入指令碼即可。

    推薦理由:本文說明 Eleven v4 透過 Audio Tags 精準控制停頓,提升語音合成自然度,對音訊製作人極具參考價值,亦可應用於廣告與配音領域。

9月10日週四
  1. Hugging Face Transformers Releases80

    Hugging Face Transformers v5.17.0 發布:新增多款前沿開源模型與架構支援

    Hugging Face Transformers v5.17.0 正式發布,本次更新擴充多項全新模型架構與重大功能改進,涵蓋多模態、語音識別及混合專家模型支援: - 新模型與架構新增: - HYV4:780B 引數的混合專家(MoE)模型,每 Token 啟動 49B 引數,具備 1M tokens 上下文視窗。

    推薦理由:此版本擴充多項新模型架構與語音多模態支援,開發者可藉此評估最新開源模型的整合與升級選項。

6月30日週二
  1. Air Street Press79

    ElevenLabs 口語模型在 GPU 缺乏時提升使用者吞吐的工程實踐

    ElevenLabs 口語模型在 GPU 缺乏時提升使用者吞吐的工程實踐 - 批次化:連續批次化可將 GPU 佔用率提升至 95%,每個 GPU 可同時處理多個請求,減少等待時間。

    推薦理由:文章以 ElevenLabs 口語模型實測為基礎,闡述批次化、量化、KV 壓縮等技術在 GPU 資源稀缺時提升使用者吞吐的方案,對語音服務成本與效能提供參考。

6月17日週三
  1. LMSYS Org Blog66

    SGLang-Omni 開始支援 MOSS-TTS Local Transformer v1.5 語音生成

    語音生成要先處理參考音訊,再逐步產生語音,最後解碼成聲音;把這些工作塞進同一個模型流程,容易遇到速度和記憶體管理問題。MOSI、OpenMOSS Team 與 SGLang-Omni Team 把 MOSS-TTS Local Transformer v1.5 拆成音訊前處理、文字轉語音生成和聲音解碼三個階段,支援邊生成邊輸出音訊。作者也測試了重用參考音訊、加快短音訊解碼等做法;在 SeedTTS 英文測試中,非串流平均每秒處理 5.976 個請求,串流則為 2.909 個,兩種模式的 WER 分別是 1.75% 和 2.14%。這些數字來自特定測試設定,文章也說不同最佳化測試的結果不能直接相加。

    推薦理由:文章拆解語音生成服務的三個階段,並以快取、CUDA Graph 與記憶體配置的測試結果,呈現各項調整如何影響速度與串流表現。

6月4日週四
  1. LMSYS Org Blog71

    SGLang-Omni 開始支援 Higgs Audio v3 TTS 即時語音生成

    語音 AI 助理得在文字還沒說完時就開始回話,還要維持聲音和說話情緒一致。Boson AI 與 SGLang-Omni 團隊宣佈,Higgs Audio v3 TTS 已能透過 SGLang-Omni 即時生成語音;文字一邊送進來,系統就能一邊合成音訊,使用者也能用文字標籤調整情緒、語氣、速度、音高和音效。模型支援 100 種語言,並可用一小段參考錄音跨語言模仿聲音。文章也分享服務速度測試,以及 SGLang-Omni 如何把語音生成拆成多個階段來排程和傳遞資料。

    推薦理由:文章比較多階段語音生成與一般模型服務的差異,並說明 SGLang-Omni 如何分段排程、串流傳音訊及管理 GPU 記憶體。

5月29日週五
5月1日週五
3月12日週四
9月8日週五