跳到正文
Hacker News (official RSS)(github.com)·· 10 天前精選品質評分76

RealtimeVAD 以安靜偵測提早判定語音結束,並揭露誤報與環境限制

Show HN: RealtimeVAD – trading false positives for 110ms earlier end-of-speech

重點導讀

RealtimeVAD 在 Silero VAD 判定語音結束前,透過音量與環境噪音檢查提早發出停說訊號;在 3,279 段即時語音資料中,停說訊號的中位數提早 100 ms,結束事件則提早 70 ms。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

這個專案以 3,279 段即時語音資料比較提早判定停說的幅度,也列出安靜語音與背景噪音對判定的限制,可供語音助理整合時權衡延遲與誤報。

正文 · 中文翻譯

請注意,說話者停止說話的時間,比 Silero 判定的時間早了約 100 ms。

RealtimeSTT · RealtimeTTS · 線上展示 · 規格 · LiveKit 外掛

語音助理必須先知道使用者已停止說話,才能開始處理。語音辨識、LLM 呼叫和語音輸出都得等這個判斷,而一般的語音活動偵測器需要幾百毫秒才能做出判斷。

RealtimeVAD 能更快判斷。它保留 Silero VAD 來判斷哪些聲音是語音,並加入第二道更快速的檢查:每隔 10 ms 比較音量與房間噪音,以及說話者本身的音量。音訊一安靜下來,就會立即收到事件,遠早於 Silero 的機率值下降。

  • 輸入:16 kHz 單聲道音訊,可使用任意大小的區塊(float32、int16 或 int16 位元組)。
  • 輸出:start、pause 和 end 事件,以及隨時取得正在進行的片段音訊。
  • 提前量:在 3,279 段真實對話中,speech-off 中位數比 Silero 的機率值下降早 100 ms,比 Silero 的 VADIterator 回報結束早 206 ms。end 本身在 82 % 的對話中比 Silero 更早觸發,中位數提早 70 ms。
  • 代價:它也會在單字之間的短暫停頓時觸發,頻率約為 Silero 的十倍。
  • 安靜的輸入:說話者輕聲說出的字尾不算靜音;若通話線路安靜且有噪音,提前量就會消失(詳情)。
  • 執行需求:使用單一 CPU 執行緒,速度遠快於即時播放。只需要 numpy 和 onnxruntime;Silero 模型已隨附,不需要 torch。
  • 狀態:Alpha 版(0.0.5)。API 仍可能變更。

線上展示

demo.mp4

影片使用合成語音,展示的中位數提前量為 92 ms。上方的 100 ms 是根據真實語音助理對話測得的中位數。

demo/ 可在你自己的麥克風上執行此頁面。它會逐段顯示 RealtimeVAD 比單獨使用 Silero 早多久判斷出你已停止說話,兩者使用相同的音訊。

快速入門

pip install realtimevad
from RealtimeVAD import VAD

vad = VAD()
for chunk in microphone_chunks():
    for event in vad.feed(chunk):
        if event.kind == "start":
            stream_to_asr(vad.audio())       # includes the audio just before speech began
        elif event.kind == "pause":
            speculate(vad.audio())           # the speaker may be done; this isn't the end yet
        elif event.kind == "end":
            finalize(event.segment.audio)

事件

事件 意義 觸發時機
start 語音已開始 約 64 ms 的明確語音後觸發,因此點選聲不會造成誤觸。對 Silero 而言不夠明確的語音(短促的「嗯哼」、安靜的電話語音),若音量明顯高於環境噪音,則會在約 0.13 s 後以半數信心判定開始
pause 說話者可能已停止說話(speech-off) 音訊安靜下來後約 10 ms 內觸發
end 片段已結束 speech-off 後 0.24 s 觸發,除非語音恢復。絕不會比單獨使用 Silero 更晚
onset 語音可能已開始 第一個明確語音影格出現時、start 確認之前。預設關閉:VAD(onset_events=True)

vad.audio() 隨時回傳正在進行的片段,內容約從語音開始前 0.3 s 起算。end 則包含已完成的片段及其音訊、開始時間、結束時間和停止說話的時間。

如果助理在麥克風開啟時說話,請在這些區塊傳入 vad.feed(chunk, playback=True),讓它自己的聲音被視為可能的迴音。所有門檻和時間長度都可設定;SPEC.md 列出了保證事項。

如何使用 pause

pause 的判斷很早,而且刻意容許頻繁誤判。每次呼吸、單字間的短暫停頓和塞音都會觸發,因此大多數 pause 事件之後都會接著出現更多語音。

  • 用它來啟動可取消的工作:完成逐字稿、呼叫 LLM、準備語音輸出。若語音持續,就取消工作。如此一來,pause 誤判幾乎沒有代價,判斷正確時則能省下數百毫秒。
  • 絕不要把它視為對話回合結束。只有 end 會關閉片段。
  • 無法快速取消? 請忽略 pause,等待 end。多出的誤報所造成的代價會超過省下的成本。

已經在使用 Silero?

變更匯入方式:

from silero_vad import load_silero_vad
from RealtimeVAD import VADIterator          # was: from silero_vad import VADIterator

vad_iterator = VADIterator(load_silero_vad(), sampling_rate=16000)
speech_dict = vad_iterator(chunk, return_seconds=True)   # {'start': ...} / {'end': ...} / None

建構方式和結果都維持不變,但音訊一靜下來就會收到 end。如果沒有提供模型引數,就會使用內建的 Silero 模型,不需要 torch。

正在使用 LiveKit Agents?

livekit-plugins-realtimevad/ 是 VAD 外掛程式:以 realtimevad.VAD.load() 取代 silero.VAD.load()。README 說明瞭事件的對應方式,以及它在相同音訊上與 Silero 外掛程式比較的測量結果。簡而言之:相較於 Silero 外掛程式的預設值,語音結束約提早 380 ms,但大部分差異來自較短的靜音設定(0.25 s,而非 0.55 s),Silero 也能使用這項設定。在相同設定下,RealtimeVAD 的語音結束時間提早 65 到 110 ms,而 LiveKit 的回合偵測器則提早 95 到 180 ms。在 LiveKit 工作階段中,與 Silero 預設值相比,回合約提早 150 ms 確認;與設定為 0.25 s 的 Silero 相比,則約提早 70 ms。

測量結果

使用即時語音助理的 3,279 個回合進行測量,每個回合都包含後續靜音,並採用預設設定。Silero 的判斷是根據完全相同的影格機率計算,因此兩者看到的輸入相同。「語音停止」指的是回合結束前 RealtimeVAD 最後一個 pause,並以 Silero 低於其閾值的最後一段影格中的第一個影格作為比較基準。

RealtimeVAD 語音停止時間較早,相較於…… 中位數 p25 – p75 p90 提早時間
Silero,機率低於 0.5(其預設閾值) 100 ms 80 – 150 ms 214 ms 98 %
Silero,機率低於 0.35(VADIterator 的結束閾值) 110 ms 90 – 176 ms 230 ms 98 %
Silero VADIterator 結束,預設最短靜音時間為 100 ms 206 ms 186 – 272 ms 336 ms 99 %
語音停止訊號後又接續語音 每秒語音的訊號數 完全沒有訊號的回合數
RealtimeVAD pause 1.5 17 %
Silero,機率低於 0.5 0.14 86 %

在 0.0.4 之前,第一列的數值是 110 ms。這 10 ms 的差異是為了避免截斷輕聲說話者的語音,詳見下一節。

end 事件與 Silero 使用相同閾值及相同 0.24 s 靜音時間時,依其自身靜音計時得出的結束時間相比(在兩者都於錄音中關閉相同區段的 2,323 個回合中):

RealtimeVAD end 比 Silero 單獨使用時提早 提早時間 中位數 p25 – p75 延後時間
0.0.5 82 % 70 ms 40 – 92 ms 0
若在點選聲後不重新開始計時,結果相同 51 % 18 ms 0 – 76 ms 0

在 0.0.4 之前,只要一個 10 ms 的大聲區塊出現在單字後的靜音中(例如點選聲、咂嘴聲或呼吸聲),就會永久停止靜音計時,並由 Silero 決定結束時間。在抽樣的 680 個回合中,約有三分之一發生這種情況。現在計時會在這類聲音過後重新開始。

使用你自己的錄音重現結果(16 kHz 單聲道 WAV,每個檔案一個回合,並包含後續靜音):

python benchmarks/speech_off_lead.py <wav dir> out.json

安靜輸入和電話音訊

在 0.0.4 之前,「安靜」採用固定下限(quiet_rms,約 −54 dBFS)。對於音量約為 −32 dBFS 的說話者,這樣沒有問題。但對音量較低的說話者(例如以原始音量錄製的電話線路,或距離較遠的麥克風),下限只比語音低幾 dB;較輕的字尾會被算作靜音,0.24 s 後區段就在說話者仍在說話時結束。自 0.0.5 起,下限會依說話者調整:取 quiet_rms 或低於說話者自身音量 20 dB 的值,以兩者中較低者為準(floor_margin_db)。

對相同的 3,401 個回合降低音量,並透過模擬電話線路處理(300–3400 Hz、8 kHz、μ-law、線路雜訊)。「說話中途結束」計算的是:偵測器在錄製音量下不會結束的回合,但在降低音量後結束,且之後還有語音。「僅 Silero」指的是對相同音訊使用同一個 VAD,但關閉靜音計時。

語音音量 說話中途結束:0.0.4 0.0.5 僅 Silero 語音遺失 ≥ 100 ms:0.0.4 0.0.5 僅 Silero 0.0.5 的語音停止時間差
−32 dBFS(錄製音量) – – – 0 0 0 100 毫秒
−38 dBFS 361 (11 %) 36 58 13 8 8 108 毫秒
−42 dBFS 609 (18 %) 37 97 26 10 10 116 毫秒
−52 dBFS 1,473 (43 %) 215 155 868 26 23 132 毫秒
−62 dBFS 1,832 (54 %) 269 303 1,778 419 415 124 毫秒
−47 dBFS(室內噪音為 −62 dBFS) 746 (22 %) 125 312 295 93 93 0 毫秒
電話線路,−38 dBFS 285 416 391 266 234 229 112 毫秒
電話線路,−48 dBFS 667 265 275 311 301 294 0 毫秒

這代表什麼,以及不代表什麼:

  • 安靜的說話聲不再被截掉。 說話者還在說話時就結束,以及語音遭截斷的情況,現在都只出現在 Silero 單獨使用時。在所有這些測試中,RealtimeVAD 的結束時間從未晚於 Silero。
  • 帶有噪音的安靜線路沒有領先優勢。 當噪音比說話聲低不到約 20 dB(室內噪音那一列,以及帶有線路噪音的安靜電話線路),若要判定哪些聲音是安靜的,就無法避免把輕聲說話也判為安靜。此時 RealtimeVAD 會和 Silero 在同一時間結束:結果正確,但速度沒有更快。
  • 非常安靜且窄頻的語音是 Silero 的限制。 在 −62 dBFS 時,以及電話線路上,Silero 本身就不太確定。Silero 從未給出 0.9 分數的語音,以前完全不會開始任何片段(電話線路有 476 個回合,−62 dBFS 有 1,264 個)。降低起始門檻後,這個數字減半(分別為 186 和 380);Silero 使用自己的 0.5 門檻時仍能辨識更多(139 和 353)。找到更多回合,也代表電話線路的資料中計入了更多結束事件。對這類微弱輸入先做放大,對 Silero 最有幫助。
  • 臨界結束事件。 在判定為安靜的 0.24 秒內,原始錄音仍有語音的結束事件,在 −52 dBFS 時比 0.0.4 少了 10 倍(當時有 1,970 個回合,現在有 182 個);但點選聲後重新開始計數,又讓部分事件增加(不含點選聲時為 141 個)。後續還有語音的結束事件,以及語音遭截斷的情況,並未因此增加。
  • 電話線路路徑是模擬結果,而「仍在說話」的參考依據是原始寬頻錄音。只有一位說話者和一支麥克風。

設定方式:

如果…… 那麼
你的輸入音量低且乾淨 不必調整;領先優勢仍在
你想保留舊的固定門檻 VAD(floor_margin_db=None)
降低起始門檻會開啟你不想要的片段(背景人聲) VAD(soft_start_s=None)
你只想採用 Silero 自己的計數,不要提早結束 VAD(quiet_rms=0)
你的輸入音量低或來自電話線路,而且乾淨 試試 VAD(normalize_to_dbfs=-30),詳見下文
python benchmarks/quiet_input.py <wav dir> out.json

為 Silero 放大安靜輸入(選用)

Silero 對安靜語音較不確定,在電話線路上尤其如此:它找到的回合較少,也會在回合中途漏掉語音。VAD(normalize_to_dbfs=-30)會放大 Silero 接收到的音訊影格,最多提高 20 dB,且不會造成削波,直到語音音量達到 −30 dBFS。音量、安靜計時器和輸出的音訊都會以原始輸入為準。使用與上方相同的回合:

語音音量 完全沒有片段:關閉 開啟 遺漏至少 100 毫秒的語音:關閉 開啟
−32 dBFS(錄音原始音量) 0 0 0 2
−52 dBFS 138 127 26 5
−62 dBFS 380 357 419 40
室內噪音中 −47 dBFS 220 215 93 21
電話線路,−38 dBFS 186 142 234 125
電話線路,−48 dBFS 542 499 301 265
電話線路,−58 dBFS 1,569 1,203 910 411

預設為關閉,因為在正常音量下會有代價:3,401 個回合中有 2 個遺漏超過 100 毫秒的語音;96 % 的回合中,語音結束判定早於 Silero,低於原本的 98 %;另有一個電話線路回合的結束時間晚於單獨使用 Silero。它必須先至少一次判定語音分數達到 0.5 才會啟用,因此串流開頭的輕聲詞語仍可能遭漏掉。在帶有噪音的安靜輸入中,結束時間的變化幅度超出基準測試的「說話時結束」計數所能判定的範圍,因此這裡不列出該計數;臨界結束事件沒有增加。

簡短應答

「嗯哼」、「對」、「好」:取自會議錄音(AMI 語料庫、近距離麥克風、長度 0.15–0.8 秒)的 200 個真實樣本。在最多 0.0.4 的設定下,其中 50 個完全未被回報為語音:Silero 對 35 個樣本的評分介於 0.5 到 0.9,低於起始門檻;另有 15 個低於 0.5。採用較寬鬆的起始設定後,仍漏掉 25 個,其中 15 個連 Silero 自己也漏掉。start 出現的時間中位數,是從詞語開始算起 160 毫秒。這類聲音究竟是附和語、輪到發言,還是打斷他人,不是 VAD 要判斷的問題,本文也不回答。

限制

  • 這些資料來自單一位說話者和單一錄音鏈:使用瀏覽器錄音,並啟用雜訊抑制和迴音消除,錄音環境大多安靜。
  • 要取得這項提前量,詞語結束後的音訊必須真的安靜;雜訊抑制有助於達成這點。在 137 個雜訊較多的發言輪次(環境音量高於 −70 dBFS)中,提前量中位數為 102–124 毫秒。在吵雜環境中關閉雜訊抑制時,預期提前量會更短;若雜訊音量與說話者相差不到約 20 dB,則不會有提前量。
  • 提早不代表正確:以錄音原本的音量來看,語音結束訊號有時是否落在輕聲詞尾之中,並未透過詞語時間標記進行比對。上方的安靜輸入表格則將結果與同一段音訊的正常音量版本進行比對。
  • 這 100 毫秒指的是語音結束訊號。end 在兩種情況下都會於語音結束後等待 0.24 秒;它本身相較於 Silero 的改善幅度較小(中位數為 70 毫秒,有 18% 的發言輪次沒有改善),且會受到雜訊影響。
  • 耳語大多偵測不到(Silero 評分低於 0.5)。笑聲、咳嗽和打噴嚏則經常能偵測到。
  • 輸入中的直流偏移會讓安靜計時器無法偵測到靜音,因此不會提早結束,也不會漏掉任何內容。
  • 僅支援 16 kHz 單聲道。

開發

pip install -e ".[dev]"
pytest

tests/audio/ 中的邊界案例測試會使用約 100 MB、採自由授權的音訊;這些檔案不在 git 中(包含 8 種語言的語音、雜訊、音樂、咳嗽和笑聲、耳語、真實附和語和猶豫語)。若沒有這些檔案,測試就會略過。取得方式如下(下載約 1.3 GB,並以 sha256 驗證):

python tests/audio/fetch_audio.py
python tests/audio/fetch_backchannels.py
pytest tests/audio

使用 8 個工作程式時,測試約需 10 秒,並會列印各項測試的防護專案、測得的數值及其限制。來源與授權: LICENSES-audio.md、 LICENSES-backchannels.md。

授權與致謝

MIT。隨附的語音模型為 Silero VAD(MIT)。

讀者討論

理性交流 · 即時討論