從零到排行榜:代理評估 — Wolfram Ravenwolf,Weights & Biases
Wolfram Ravenwolf 是 CoreWeave 與 Weights & Biases 的 AI 推廣者,他主張單一分數的基準測試幾乎沒有參考價值,因為模型效能是一個分佈,而不是一個點;而且只要控制六個可替換的層級,並公開每個數字背後的原始軌跡,任何人都能建立更可信的評測。本集是在 AI Engineer 大會發表的代理評測方法論實作工作坊,重點多半在於如何建構可複現的基準測試,而非某個特定的排行榜結果。標題的「從零到排行榜」說得沒錯,但低估了重點:這 52 分鐘大部分時間都花在那些會默默讓比較失效的設定變數,以及如何閱讀軌跡來解釋出乎意料的分數。 Ravenwolf 的核心主