跳到正文
Dev.to Top Tech(dev.to)· Agent Relay·· 8 天前品質評分62

Agent Relay 重算 AI 助理基準:高分模型不一定最划算

A model leaderboard ranked by average score. The bill per perfect answer ranks it differently.

重點導讀

挑 AI 助理時,只看平均分數,可能看不出每次好答案要花多少錢,也看不出它有多少次完全沒答好。

  • Agent Relay 根據 Deepnote 的 Agent Initiative Benchmark 公開資料,重新計算每個模型取得滿分回答的成本,並比較零分次數和不該發言時的誤報。結果顯示,平均分數最高的 GPT-6 Astra,每次滿分回答約 $1.33。
  • GPT-6.1 Sol 約 $0.255,便宜約 5.2 倍,兩者的分數區間也有重疊。作者提醒,基準只有 50 項任務,這些數字適合用來篩掉不合需求的模型,不能據此精確選出勝者。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處dev.to

A model leaderboard ranked by average score. The bill per perfect answer ranks it differently.

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Dev.to Top Tech (dev.to)
開啟原文

讀者討論

理性交流 · 即時討論