熱點事件持續更新
OpenAI 倡議用困惑度比較模型並訂共同安全門檻
3 篇報導3 個報導來源2 小時前更新
先了解這件事
重點綜述
OpenAI 指出,不同 AI 團隊使用的訓練資料與測試方式各異,模型進展難以直接比較,因此公開 GPT-3.5 以來的內部預訓練困惑度測量結果,並提議讓業界用困惑度追蹤模型預測下一個 token 的能力;數值越低,代表預測越準。
- 不過,困惑度不等於實際任務表現,各實驗室使用的資料也可能不同,跨團隊比較仍有困難。
- OpenAI 同時主張共同制定安全評估方式、透明規範與發展門檻,在能具體理解並監控模型行為前限制進一步開發。
- 11 月 23 日,OpenAI 總裁 Greg Brockman 進一步提出,業界可先約定共同指標與模型發展上限,直到安全監測達到明確條件,例如具備監測模型後續思路的工具,再討論是否放寬上限。
根據報導自動生成 · 2 小時前更新
最新進展11月23日 03:15
Greg Brockman 提議,模型發展上限應維持到安全監測達到明確條件,再討論是否放寬。事件進展
2 個進展
- 11月23日 03:15 · 1 篇報導Greg Brockman提議制定AI安全共同限度Greg Brockman (@gdb):Greg Brockman 主張為 AI 發展設定共同安全上限
- 11月22日 08:00 · 2 篇報導OpenAI倡議以困惑度建立共同標準OpenAI News:OpenAI 主張用困惑度追蹤 AI 進展,並制定共同安全門檻
報導時間線
沿著報導,瞭解事件的不同面向。
11月23日
- Greg Brockman (@gdb)Greg Brockman 主張為 AI 發展設定共同安全上限
AI 能力進步很快,安全監測和理解模型行為的能力可能跟不上。Greg Brockman 分享一項提議:業界先選定共同的衡量指標,約定模型發展不能超過某個上限,直到安全監測達到明確條件,例如發展出後續思路監測工具。達到條件後,才可再討論放寬上限。這套做法希望讓不同開發者依共同標準安排 AI 發展速度;文中將 perplexity 列為衡量模型能力的指標之一。
11月22日
- aihot精選OpenAI 提議用困惑度比較模型進展,制定共同安全上限
不同團隊用不同資料和方法訓練模型,很難用同一把尺比較進展。OpenAI 公開 GPT-3.5 以來的內部困惑度測量資料,並提議讓業界用這項指標比較模型,也共同訂出安全上限,在達成更具體的理解與監控能力前,先限制模型開發。困惑度越低,代表模型預測下一個 token 越準;不過它不能直接反映所有能力,各實驗室使用的資料也可能不同,因此仍需要找出可互相比較的方法。
- OpenAI News精選OpenAI 主張用困惑度追蹤 AI 進展,並制定共同安全門檻
不同 AI 團隊用的測試方式不一樣,很難直接比較模型進步到哪裡。OpenAI 認為,可以用「困惑度」衡量模型預測下一個 token 的能力,數值越低代表預測越準,並公開自家預訓練測量結果。文章也提出,業界可共同訂出安全評估方式、透明規範和發展門檻,在確認能理解並監控模型行為前,先限制進一步發展。不過,困惑度不等於實際任務表現,各家使用的資料也不同,因此跨團隊比較仍有難處。
本事件熱度趨勢
還沒有足夠的連續觀測資料,暫不繪製趨勢。
讀者討論
針對此事件的各方觀點與即時反饋