Apple 研究探討測試資料可能參與訓練時,如何評估大型模型
Toward a Theory of Evaluability
重點導讀
大型模型的測試資料可能已經被拿去訓練,讓人難以判斷評估結果準不準。
- 這項研究分析在測試資料可能參與訓練的情況下,如何評估只能看到輸出的黑箱模型。研究發現,只查看模型在測試資料上的回答時,只有資料分佈接近少數幾種結果,才可能準確評估。
- 若能額外向模型提問,即使查詢次數不多,也能讓評估者在一些常見情況下做得更多。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處machinelearning.apple.com
Toward a Theory of Evaluability
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Apple Machine Learning Research (machinelearning.apple.com)
開啟原文