跳到正文

#WolfBench 框架與排行榜

RSS
今日 0 則
10月12日週一
  1. AI Engineer🎙️ Podcast85

    從零到排行榜:代理評估 — Wolfram Ravenwolf,Weights & Biases

    Wolfram Ravenwolf 是 CoreWeave 與 Weights & Biases 的 AI 推廣者,他主張單一分數的基準測試幾乎沒有參考價值,因為模型效能是一個分佈,而不是一個點;而且只要控制六個可替換的層級,並公開每個數字背後的原始軌跡,任何人都能建立更可信的評測。本集是在 AI Engineer 大會發表的代理評測方法論實作工作坊,重點多半在於如何建構可複現的基準測試,而非某個特定的排行榜結果。標題的「從零到排行榜」說得沒錯,但低估了重點:這 52 分鐘大部分時間都花在那些會默默讓比較失效的設定變數,以及如何閱讀軌跡來解釋出乎意料的分數。 Ravenwolf 的核心主