Dettato 推出音訊轉 MIDI 模型,引數量為 20M
Show HN: I made an audio-to-MIDI model 60x more efficient
把音樂錄音轉成 MIDI,模型大小和訓練資料都會影響使用方式。
- 作者推出開源模型 Dettato,表示它有 20M 引數,在文中列出的公開基準上,分數高於 MuScriptor 1.3B,也略高於 Mirelo A2M v1.1 Pro。
- 訓練資料使用合成樂器錄音與 URMP 資料集中的 Creative Commons 獨奏樂器錄音,沒有使用受著作權保護的錄音。
- 作者也提醒,模型不擅長正確分開樂器,而且輸出的是節拍對齊的演奏 MIDI,不是可直接演奏的樂譜。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Dettato 用 20M 引數在文中列出的公開基準取得較高分數,也交代了不使用受著作權保護錄音訓練的做法。
2026 年 11 月 16 日
我們推出了 Dettato,這是一款音訊轉 MIDI 轉錄模型,效能達到業界頂尖水準(SOTA)。在已公佈的基準測試中,它大幅勝過次佳開放模型 MuScriptor 1.3B,分數也略高於 mirelo 的閉源模型「Mirelo A2M v1.1 Pro」。而且模型只有 20m 個引數,大小約為 muscriptor 的 1/65。此外,訓練模型時完全沒有使用任何受著作權保護的錄音。模型採用開放原始碼,產出內容可用於商業用途。
| 系統 | 綜合分數 | 起音 | 音框 | 音符結束點 | 鼓組 | 引數 |
|---|---|---|---|---|---|---|
| dettato | 60.8 | 70.8 | 79.1 | 40.9 | 52.5 | 20M |
| Mirelo A2M v1.1 Pro | 56.1 | 67.1 | 75.7 | 40.1 | 41.4 | 未公佈 |
| MuScriptor | 47.4 | 57.0 | 71.2 | 31.4 | 30.1 | 1.3B |
| YourMT3+ | 45.7 | 58.2 | 63.9 | 30.5 | 30.0 | 46M |
F1 分數(各資料集):起音、音框與音符結束點的平均值
| 資料集 | dettato | mirelo A2M v1.1 pro | muscriptor 1.3B | yourmt3+ |
|---|---|---|---|---|
| Bach10 | 91.3 | 未回報 | 54.7 | 57.9 |
| Dagstuhl ChoirSet | 60.8 | 未回報 | 35.5 | 28.0 |
| PHENICX-Anechoic | 64.8 | 60.9 | 54.4 | 44.8 |
| RWC Popular | 54.0 | 未回報 | 44.3 | 36.1 |
| RWC Classical | 64.4 | 65.8 | 58.4 | 62.4 |
| RWC Genre | 48.7 | 未回報 | 42.6 | 35.6 |
| RWC Jazz | 55.7 | 未回報 | 52.0 | 47.1 |
| RWC Royalty-Free | 61.6 | 56.2 | 46.8 | 45.4 |
| Slakh2100(合成) | 68.4 | 未回報 | 51.1 | 未回報 |
基準測試宣告:若不親自試用,很難判斷模型在你的使用情境中的實際準確度。舉例來說,我的模型不太擅長正確分離樂器。此外,它只會產生節拍對齊的演奏 MIDI。如果你需要能實際演奏的內容(例如樂譜),我會推薦songscription或klangio;這兩款都是優秀的工具,背後的公司也很出色,持續推進這個領域的發展。
0:00 / 0:00
Sousa,《The Stars and Stripes Forever》:「總統御用」美國海軍陸戰隊樂隊,收錄於《John Philip Sousa 完整進行曲》第 3 卷。美國政府錄音,屬公共領域。下載 MIDI
上傳自己的範例(或從下方選取示範)
Kobimusic 的核心目標是協助音樂家,而非取代他們。實現這個目標的一部分,就是遵守著作權法。我們使用合成樂器錄音,以及透過 URMP 資料集混入的 CC 單件樂器錄音來訓練 dettato。其他樂器則透過我發表的「soundfont babies」技術,混合約 20 種音色庫製成。訓練過程沒有使用任何受著作權保護的錄音。
我大約 10 個月前開始開發 dettato,但在 4 月左右把當時的成果全部捨棄。原因是我把 AMT 當成資料問題處理,但實際上的瓶頸在於架構。OMR(我製作的第一個模型)和 AMT 有許多相似之處。這兩個領域早期都以演演算法為主要解法;後來,兩者都加入了大型 LLM 元件。由於從整體角度處理時,AMT 和 OMR 的問題本質會與區域性處理時不同,這些模型自然容易對合成資料過度擬合。不過,兩者都可以重新定義為區域性問題:OMR 可使用偵測器模型,AMT 則可使用音高軌道模型。
總體而言,我希望開放權重與封閉權重的音樂檢索公司都能從中汲取經驗。不使用受著作權保護的錄音作品並不會限制你們,反而能促進創新,而且最後很可能能打造出更好的模型。