METR 更新 AI 能力曲線圖,加入需要判斷力的任務
The most misunderstood graph in AI just got a major update
重點導讀
AI 模型在寫程式等容易自動檢查答案的工作上進步很快,但這能不能延伸到研究方向選擇等需要判斷力的工作,仍不清楚。
- METR 更新了用來比較模型與人類任務表現的曲線圖,加入設計 AI 評測和評分哲學論證等較開放的任務。
- 最先進的模型在軟體工程上已勝過幾乎所有人類,卻還沒有設計出 METR 員工認為能用於研究的評測。
- 這些新任務的數量不多、評分也不容易,因此目前還難以據此推算模型未來能否自動進行 AI 研究與開發。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處technologyreview.com
The most misunderstood graph in AI just got a major update
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: MIT Technology Review · AI (technologyreview.com)
開啟原文