熱點事件持續更新
MMLU-Pro key errors audited
1 篇報導1 個報導來源2 小時前更新
先了解這件事
重點綜述
MMLU-Pro 的 45 款已釋出模型在 46 個關鍵題目中，均偏向專家答案而非官方答案鍵。
\n- 模型偏好：在 46 題中，模型共選擇專家答案 1,041 次（佔 50.3%），官方答案鍵 283 次（13.7%），其餘為其他選項或無效答案。
根據報導自動生成 · 2 小時前更新
最新進展11月2日 14:21
45 款已釋出模型全數偏向專家答案，否定 MMLU-Pro 內部錯誤答案鍵報導時間線
沿著報導，瞭解事件的不同面向。
11月2日
- Dev.to Top Tech45 款已釋出模型全數偏向專家答案，否定 MMLU-Pro 內部錯誤答案鍵
MMLU-Pro 的 45 款已釋出模型在 46 個關鍵題目中，均偏向專家答案而非官方答案鍵。\n- 模型偏好：在 46 題中，模型共選擇專家答案 1,041 次（佔 50.3%），官方答案鍵 283 次（13.7%），其餘為其他選項或無效答案。
本事件熱度趨勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。
讀者討論
針對此事件的各方觀點與即時反饋