跳到正文
熱點事件持續更新

BuggyMLE以注入錯誤提升ML工程基準難度

1 篇報導1 個報導來源2 小時前更新

先了解這件事

重點綜述

現有程式解題測驗越來越難分出模型實力,因為許多 AI 助理已經能解開大部分題目。

  • Google 的 BuggyMLE 讓 AI 助理在 222 個可運作的機器學習專案裡,故意加入可控制的程式錯誤,再用這些專案做出更難的修復任務。測試中,14 個模型裡表現最好的模型,解題率從最簡單難度的 95% 降到最難的 9%。
  • 經過錯誤任務訓練的 Qwen3.5-9B,則在這項測試中逼近頂尖模型,並把 SWE-bench Lite 解題率從 24% 提高到 33%。這種做法能用既有專案製作更有挑戰的測驗與訓練資料。

根據報導自動生成 · 1 小時前更新

報導時間線

沿著報導,瞭解事件的不同面向。

11月23日
  1. Elvis Saravia (@omarsar0)
    BuggyMLE用注入程式錯誤測試AI助理

    現有程式解題測驗越來越難分出模型實力,因為許多 AI 助理已經能解開大部分題目。Google 的 BuggyMLE 讓 AI 助理在 222 個可運作的機器學習專案裡,故意加入可控制的程式錯誤,再用這些專案做出更難的修復任務。測試中,14 個模型裡表現最好的模型,解題率從最簡單難度的 95% 降到最難的 9%;經過錯誤任務訓練的 Qwen3.5-9B,則在這項測試中逼近頂尖模型,並把 SWE-bench Lite 解題率從 24% 提高到 33%。這種做法能用既有專案製作更有挑戰的測驗與訓練資料。

本事件熱度趨勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。

讀者討論

針對此事件的各方觀點與即時反饋