跳到正文
Apple Machine Learning Research(machinelearning.apple.com)·· 13 天前品質評分59

Apple 研究探討測試資料可能參與訓練時,如何評估大型模型

Toward a Theory of Evaluability

重點導讀

大型模型的測試資料可能已經被拿去訓練,讓人難以判斷評估結果準不準。

  • 這項研究分析在測試資料可能參與訓練的情況下,如何評估只能看到輸出的黑箱模型。研究發現,只查看模型在測試資料上的回答時,只有資料分佈接近少數幾種結果,才可能準確評估。
  • 若能額外向模型提問,即使查詢次數不多,也能讓評估者在一些常見情況下做得更多。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處machinelearning.apple.com

Toward a Theory of Evaluability

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Apple Machine Learning Research (machinelearning.apple.com)
開啟原文

讀者討論

理性交流 · 即時討論