跳到正文
熱點事件持續更新

OpenAI 倡議用困惑度比較模型並訂共同安全門檻

3 篇報導3 個報導來源2 小時前更新

先了解這件事

重點綜述

OpenAI 指出,不同 AI 團隊使用的訓練資料與測試方式各異,模型進展難以直接比較,因此公開 GPT-3.5 以來的內部預訓練困惑度測量結果,並提議讓業界用困惑度追蹤模型預測下一個 token 的能力;數值越低,代表預測越準。

  • 不過,困惑度不等於實際任務表現,各實驗室使用的資料也可能不同,跨團隊比較仍有困難。
  • OpenAI 同時主張共同制定安全評估方式、透明規範與發展門檻,在能具體理解並監控模型行為前限制進一步開發。
  • 11 月 23 日,OpenAI 總裁 Greg Brockman 進一步提出,業界可先約定共同指標與模型發展上限,直到安全監測達到明確條件,例如具備監測模型後續思路的工具,再討論是否放寬上限。

根據報導自動生成 · 2 小時前更新

事件進展

2 個進展
  1. 11月23日 03:15 · 1 篇報導
    Greg Brockman提議制定AI安全共同限度
    Greg Brockman (@gdb):Greg Brockman 主張為 AI 發展設定共同安全上限
  2. 11月22日 08:00 · 2 篇報導
    OpenAI倡議以困惑度建立共同標準
    OpenAI News:OpenAI 主張用困惑度追蹤 AI 進展,並制定共同安全門檻

報導時間線

沿著報導,瞭解事件的不同面向。

11月23日
  1. Greg Brockman (@gdb)
    Greg Brockman 主張為 AI 發展設定共同安全上限

    AI 能力進步很快,安全監測和理解模型行為的能力可能跟不上。Greg Brockman 分享一項提議:業界先選定共同的衡量指標,約定模型發展不能超過某個上限,直到安全監測達到明確條件,例如發展出後續思路監測工具。達到條件後,才可再討論放寬上限。這套做法希望讓不同開發者依共同標準安排 AI 發展速度;文中將 perplexity 列為衡量模型能力的指標之一。

11月22日
  1. aihot精選
    OpenAI 提議用困惑度比較模型進展,制定共同安全上限

    不同團隊用不同資料和方法訓練模型,很難用同一把尺比較進展。OpenAI 公開 GPT-3.5 以來的內部困惑度測量資料,並提議讓業界用這項指標比較模型,也共同訂出安全上限,在達成更具體的理解與監控能力前,先限制模型開發。困惑度越低,代表模型預測下一個 token 越準;不過它不能直接反映所有能力,各實驗室使用的資料也可能不同,因此仍需要找出可互相比較的方法。

  2. OpenAI News精選
    OpenAI 主張用困惑度追蹤 AI 進展,並制定共同安全門檻

    不同 AI 團隊用的測試方式不一樣,很難直接比較模型進步到哪裡。OpenAI 認為,可以用「困惑度」衡量模型預測下一個 token 的能力,數值越低代表預測越準,並公開自家預訓練測量結果。文章也提出,業界可共同訂出安全評估方式、透明規範和發展門檻,在確認能理解並監控模型行為前,先限制進一步發展。不過,困惑度不等於實際任務表現,各家使用的資料也不同,因此跨團隊比較仍有難處。

本事件熱度趨勢

還沒有足夠的連續觀測資料,暫不繪製趨勢。

讀者討論

針對此事件的各方觀點與即時反饋