METR 更新 AI 任務時間跨度與判斷力評測
先了解這件事
METR 更新評測,測試截至 Opus 5.5 和 GPT-6 Astra 的模型在 TH1.1 與 TH2 任務上的表現,估計模型可處理的任務時間跨度約每 3.6 個月翻倍;在可驗證任務子集中,約每 1.65 個月翻倍。
- METR 提醒,測試環境愈來愈接近強化學習訓練環境,可能讓測量結果偏高。之後,METR 在能力曲線圖加入設計 AI 評測、評分哲學論證等較開放的任務。報導指出,AI 在有明確目標和即時回饋的程式與計算任務上進步較快,軟體工程基準測試中的任務時間自 2021 年起約每 7 個月翻倍。
- 判斷新聞偏見等工作進展較慢。雖然最先進模型在軟體工程上已勝過幾乎所有人類,仍未設計出 METR 員工認為可用於研究的評測。由於開放式任務不多、評分不易,目前資料不足以推算模型能否自動進行 AI 研究與開發。最新報導另整理不同 AGI 預測所採用的標準與期限,並以 Opus 4.5 約 320 分鐘的任務時間跨度為例。
- 這不代表模型能完成所有工作。
根據報導自動生成 · 5 小時前更新
事件進展
- 11月22日 21:30 · 1 篇報導AGI 何時到來?不同預測用的標準和期限差很大Dev.to Top Tech:AGI 何時到來?不同預測用的標準和期限差很大
- 11月22日 21:00 · 1 篇報導AI能力增長快於安全評估The Decoder:METR 警告:AI 進步太快,專家可能來不及測試新系統是否安全
- 11月21日 02:15 · 2 篇報導METR更新AI時間跨度圖MIT Technology Review · AI:METR 更新 AI 能力曲線圖,加入需要判斷力的任務
- 11月20日 00:00 · 1 篇報導METR 更新 AI 能力測量結果aihot:METR 更新能力評測:AI R&D 相關能力約每 3.6 個月翻倍
報導時間線
沿著報導,瞭解事件的不同面向。
- Dev.to Top TechAGI 何時到來?不同預測用的標準和期限差很大
大家常問 AGI 什麼時候會出現,但不同預測對「做到什麼才算 AGI」有不同標準,所以日期很難直接相比。文章整理了 Metaculus、研究者調查和多位業界人士的預測,也介紹 METR 怎麼測量 AI 助理完成軟體工作的能力:看它能用多長時間完成一項有明確檢查方式的任務,並記錄成功率。以 METR 的測試為例,Claude Opus 4.5 完成這類任務的 50% 時間範圍約為 320 分鐘;這不代表 AI 能完成所有工作。作者提醒,閱讀預測時要一起看它的定義、資料和測試方法。
- The DecoderMETR 警告:AI 進步太快,專家可能來不及測試新系統是否安全
AI 模型愈來愈會處理研究和程式工作,但要確認新系統是否安全,專家可能跟不上進步速度。研究組織 METR 發現,在有明確目標和即時回饋的程式及計算任務上,模型多數時候已勝過有經驗的專業人士;人類需要更久才能完成的任務,模型能處理的時間長度約每 3.6 個月翻倍。METR 也提醒,常見測試可能高估模型在真實情境中的表現,因為開發者訓練模型時使用的環境和測試環境很相似。模型仍不擅長需要判斷、沒有即時回饋的開放式問題,而目前公開資料也不足以排除 AI 研究速度大幅加快的可能。
- Dev.to Top TechMETR 的時間跨度圖顯示,AI 寫程式進步比判斷更快
AI 能連續完成工作的時間變長,不代表所有任務都進步得一樣快。METR 更新的時間跨度圖顯示,在軟體工程基準測試中,AI 可完成任務的時間自 2021 年起約每 7 個月增加一倍;但這類測試通常有明確的對錯答案。判斷新聞是否有偏見等任務,答案較主觀,進展較慢,能完成的時間也較短。文章提醒,評估模型時要看它要做的那類任務,不能只看整體分數;需要細緻判斷的工作仍應有人參與。
- MIT Technology Review · AIMETR 更新 AI 能力曲線圖,加入需要判斷力的任務
AI 模型在寫程式等容易自動檢查答案的工作上進步很快,但這能不能延伸到研究方向選擇等需要判斷力的工作,仍不清楚。METR 更新了用來比較模型與人類任務表現的曲線圖,加入設計 AI 評測和評分哲學論證等較開放的任務。最先進的模型在軟體工程上已勝過幾乎所有人類,卻還沒有設計出 METR 員工認為能用於研究的評測。這些新任務的數量不多、評分也不容易,因此目前還難以據此推算模型未來能否自動進行 AI 研究與開發。
- aihot精選METR 更新能力評測:AI R&D 相關能力約每 3.6 個月翻倍
要量出 AI 模型能獨立完成多長、多少工作並不容易,評測方式也可能影響結果。METR 更新能力評測,測試截至 Opus 5.5 和 GPT-6 Astra 的模型在 TH1.1 與 TH2 任務上的表現,發現模型的時間視野約每 3.6 個月翻倍;在可驗證的任務子集中,翻倍時間約為 1.65 個月。METR 也討論,評測環境和 RL 訓練環境越來越接近,可能帶來測量偏差。
本事件熱度趨勢
當前熱度 20·可比範圍峰值 23(11月21日 05:00)·近 24 小時可比範圍變化 +98%
趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點選圖表檢視每小時熱度;鍵盤可用左右方向鍵切換。
讀者討論
針對此事件的各方觀點與即時反饋