在 MacBook Air 上以約13秒完成一小時音訊轉錄
An hour of audio transcribed in about 13s on MacBook Air
EmbeddingGemma 2 被改造成語音轉文字模型，能在 MacBook Air 上以約 13 秒完成一小時音訊轉錄。
- - 速度：在基礎 M3 MacBook Air (8 GB) 上，1 小時音訊約 12.6 秒。
- 相較於 IBM Granite Speech 5.0 TurboCTC 約 25.7 秒，速度提升 2.5 倍以上。
能在MacBook Air上以13秒完成一小時語音轉錄，展示了嵌入模型在語音識別領域的潛力。這種方法不需要雲端計算，完全在裝置內完成，對隱私友好且可擴充套件。
Google的EmbeddingGemma 2是一個嵌入模型。我們將它轉換為語音轉文字模型： 在基礎的MacBook Air上，1小時音訊約13秒完成，完全在裝置上。
下載 Mac（免費）
v1.6 · macOS 14+ · Apple Silicon
模型於首次啟動時下載 (715 MB)
嵌入模型能夠轉錄語音嗎？
EmbeddingGemma 2 是一個多模態嵌入模型：文字、影像、音訊和影片共用一個空間。 大聲說一句話，該語音會落在接近其文字的地方。
所以我們嘗試直接從那個空間讀取文字。
工作原理
- EmbeddingGemma 2 的音訊編碼器保持不變。
- 一個小型讀取器將每個短音訊片段移入模型的文字空間。
- 最接近的約229,000個英文字獲勝，片段就成為文字稿。
- 一個小型額外模型加入標點符號與大寫。
僅讀取器被訓練：在 8×H100 上不到兩小時，使用公開授權的英語語音。 基礎模型從未被訓練為語音轉文字。
速度如何？
| 模型 | 執行於 | Mac | 速度 |
|---|---|---|---|
| Embedding Gemma Transcribe | Neural Engine | 基礎 M3 MacBook Air, 8 GB | 288×1小時在12.6秒 |
| IBM Granite Speech 5.0 TurboCTC | GPU (MLX) | 基礎 M3 MacBook Air, 8 GB | ~150×1小時在25.7秒 |
| NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) | Neural Engine | M4 Pro | 156× |
| NVIDIA Parakeet TDT 0.6B v3 (FluidAudio) | Neural Engine | M5 Pro | 335× |
| Phonon-2, Parakeet v3 微調 (FluidAudio) | Neural Engine | M5 Pro | 480× |
×即時：每秒處理秒數的音訊。第1–2列：我們在相同基礎M3 MacBook Air上的測試。 第3–5列：FluidAudio的已釋出基準 在更大、更新版的Mac以及不同音訊上。粗略指引，非同等比較。
目前定位
目前詞錯誤率約為5%，相較於領先語音模型的2–3%。我們相信更好訓練的 讀取器能縮小差距；這是下一個迭代。
使用方法
將音訊檔拖入，或按住右側Option鍵，說話後鬆開即可在任何應用程式中輸入。它在Mac的 Neural Engine上執行；您的音訊永不離開裝置。
來源：Hacker News (official RSS) · eg2.haku.sh