跳到正文
hackernews100(kobi.music)· hidude562·· 6 天前精選品質評分79

Dettato 推出音訊轉 MIDI 模型,引數量為 20M

Show HN: I made an audio-to-MIDI model 60x more efficient

重點導讀

把音樂錄音轉成 MIDI,模型大小和訓練資料都會影響使用方式。

  • 作者推出開源模型 Dettato,表示它有 20M 引數,在文中列出的公開基準上,分數高於 MuScriptor 1.3B,也略高於 Mirelo A2M v1.1 Pro。
  • 訓練資料使用合成樂器錄音與 URMP 資料集中的 Creative Commons 獨奏樂器錄音,沒有使用受著作權保護的錄音。
  • 作者也提醒,模型不擅長正確分開樂器,而且輸出的是節拍對齊的演奏 MIDI,不是可直接演奏的樂譜。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

Dettato 用 20M 引數在文中列出的公開基準取得較高分數,也交代了不使用受著作權保護錄音訓練的做法。

正文 · 中文翻譯

2026 年 11 月 16 日

A low-poly pink bird, drawn ten times in a loop, listening

我們推出了 Dettato,這是一款音訊轉 MIDI 轉錄模型,效能達到業界頂尖水準(SOTA)。在已公佈的基準測試中,它大幅勝過次佳開放模型 MuScriptor 1.3B,分數也略高於 mirelo 的閉源模型「Mirelo A2M v1.1 Pro」。而且模型只有 20m 個引數,大小約為 muscriptor 的 1/65。此外,訓練模型時完全沒有使用任何受著作權保護的錄音。模型採用開放原始碼,產出內容可用於商業用途。

綜合分數,以及各系統所採用的平均指標
系統綜合分數起音音框音符結束點鼓組引數
dettato60.870.879.140.952.520M
Mirelo A2M v1.1 Pro56.167.175.740.141.4未公佈
MuScriptor47.457.071.231.430.11.3B
YourMT3+45.758.263.930.530.046M
使用的資料集:PHENICX、RWC 古典音樂、RWC 免權利金音樂

F1 分數(各資料集):起音、音框與音符結束點的平均值

F1 分數(各資料集):起音、音框與音符結束點的平均值
資料集dettatomirelo A2M v1.1 promuscriptor 1.3Byourmt3+
Bach1091.3未回報54.757.9
Dagstuhl ChoirSet60.8未回報35.528.0
PHENICX-Anechoic64.860.954.444.8
RWC Popular54.0未回報44.336.1
RWC Classical64.465.858.462.4
RWC Genre48.7未回報42.635.6
RWC Jazz55.7未回報52.047.1
RWC Royalty-Free61.656.246.845.4
Slakh2100(合成)68.4未回報51.1未回報

基準測試宣告:若不親自試用,很難判斷模型在你的使用情境中的實際準確度。舉例來說,我的模型不太擅長正確分離樂器。此外,它只會產生節拍對齊的演奏 MIDI。如果你需要能實際演奏的內容(例如樂譜),我會推薦songscription或klangio;這兩款都是優秀的工具,背後的公司也很出色,持續推進這個領域的發展。

0:00 / 0:00

Sousa,《The Stars and Stripes Forever》:「總統御用」美國海軍陸戰隊樂隊,收錄於《John Philip Sousa 完整進行曲》第 3 卷。美國政府錄音,屬公共領域。下載 MIDI

上傳自己的範例(或從下方選取示範)

Kobimusic 的核心目標是協助音樂家,而非取代他們。實現這個目標的一部分,就是遵守著作權法。我們使用合成樂器錄音,以及透過 URMP 資料集混入的 CC 單件樂器錄音來訓練 dettato。其他樂器則透過我發表的「soundfont babies」技術,混合約 20 種音色庫製成。訓練過程沒有使用任何受著作權保護的錄音。

我大約 10 個月前開始開發 dettato,但在 4 月左右把當時的成果全部捨棄。原因是我把 AMT 當成資料問題處理,但實際上的瓶頸在於架構。OMR(我製作的第一個模型)和 AMT 有許多相似之處。這兩個領域早期都以演演算法為主要解法;後來,兩者都加入了大型 LLM 元件。由於從整體角度處理時,AMT 和 OMR 的問題本質會與區域性處理時不同,這些模型自然容易對合成資料過度擬合。不過,兩者都可以重新定義為區域性問題:OMR 可使用偵測器模型,AMT 則可使用音高軌道模型。

總體而言,我希望開放權重與封閉權重的音樂檢索公司都能從中汲取經驗。不使用受著作權保護的錄音作品並不會限制你們,反而能促進創新,而且最後很可能能打造出更好的模型。

來源: hackernews100 (kobi.music)
開啟原文

讀者討論

理性交流 · 即時討論