熱點事件持續更新
BuggyMLE以注入錯誤提升ML工程基準難度
1 篇報導1 個報導來源2 小時前更新
先了解這件事
重點綜述
現有程式解題測驗越來越難分出模型實力,因為許多 AI 助理已經能解開大部分題目。
- Google 的 BuggyMLE 讓 AI 助理在 222 個可運作的機器學習專案裡,故意加入可控制的程式錯誤,再用這些專案做出更難的修復任務。測試中,14 個模型裡表現最好的模型,解題率從最簡單難度的 95% 降到最難的 9%。
- 經過錯誤任務訓練的 Qwen3.5-9B,則在這項測試中逼近頂尖模型,並把 SWE-bench Lite 解題率從 24% 提高到 33%。這種做法能用既有專案製作更有挑戰的測驗與訓練資料。
根據報導自動生成 · 1 小時前更新
最新進展11月23日 03:25
BuggyMLE用注入程式錯誤測試AI助理報導時間線
沿著報導,瞭解事件的不同面向。
11月23日
- Elvis Saravia (@omarsar0)BuggyMLE用注入程式錯誤測試AI助理
現有程式解題測驗越來越難分出模型實力,因為許多 AI 助理已經能解開大部分題目。Google 的 BuggyMLE 讓 AI 助理在 222 個可運作的機器學習專案裡,故意加入可控制的程式錯誤,再用這些專案做出更難的修復任務。測試中,14 個模型裡表現最好的模型,解題率從最簡單難度的 95% 降到最難的 9%;經過錯誤任務訓練的 Qwen3.5-9B,則在這項測試中逼近頂尖模型,並把 SWE-bench Lite 解題率從 24% 提高到 33%。這種做法能用既有專案製作更有挑戰的測驗與訓練資料。
本事件熱度趨勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。
讀者討論
針對此事件的各方觀點與即時反饋