OpenAI 主張用困惑度追蹤 AI 進展,並制定共同安全門檻
不同 AI 團隊用的測試方式不一樣,很難直接比較模型進步到哪裡。OpenAI 認為,可以用「困惑度」衡量模型預測下一個 token 的能力,數值越低代表預測越準,並公開自家預訓練測量結果。文章也提出,業界可共同訂出安全評估方式、透明規範和發展門檻,在確認能理解並監控模型行為前,先限制進一步發展。不過,困惑度不等於實際任務表現,各家使用的資料也不同,因此跨團隊比較仍有難處。
推薦理由:OpenAI 說明困惑度如何追蹤預訓練進展,也提出用共同指標與安全門檻協調業界發展,並指出跨實驗室比較的限制。