OpenAI 提議用困惑度比較模型進展,制定共同安全上限
不同團隊用不同資料和方法訓練模型,很難用同一把尺比較進展。OpenAI 公開 GPT-3.5 以來的內部困惑度測量資料,並提議讓業界用這項指標比較模型,也共同訂出安全上限,在達成更具體的理解與監控能力前,先限制模型開發。困惑度越低,代表模型預測下一個 token 越準;不過它不能直接反映所有能力,各實驗室使用的資料也可能不同,因此仍需要找出可互相比較的方法。
推薦理由:OpenAI公開自GPT-3.5以來的困惑度測量資料,並說明這項指標如何連結預訓練進展與共享安全上限的提議。