熱點事件持續更新
DeepMind audits 65 benchmarks
1 篇報導1 個報導來源4 小時前更新
先了解這件事
AI 綜述
Kaggle 重新跑 65 個基準，發現測試失靈、成本與驗證問題。
- 失靈模式 憑證外洩、評分器竄改、統計變異 ±20%、查答案、推理強度不一致。
AI 根據報導生成 · 2 小時前更新
報導時間線
沿著報導，瞭解事件的不同面向。
10月25日
- AI Engineer精選前沿模型為何當不了買方分析師——Google DeepMind 的 Janie Gu 與 LinqAlpha 的 Suyeol Yun 對談
LinqAlpha 的 Suyeol Yun 說明 MandateBench 如何以推理圖（reasoning graph）為完整的買方分析師工作流程評分；此前 Kaggle 稽核了 65 個重現的基準測試，發現 API 金鑰外洩、評分器遭竄改，以及 20% 的變異。
本事件熱度趨勢
還沒有足夠的連續觀測資料，暫不繪製趨勢。