重點導讀
挑選程式碼變更要不要合併,得同時看模型判斷得準不準、花費多不多。
- Cognition 用自家的 FrontierCode 2.0 評估 Gemini 4 Neon,這項基準測試關心模型能否判斷一項程式碼變更是否該合併。Gemini 4 Neon 得分 46.2%,每項任務約 $4.38。
- Cognition 表示,它的分數和 Opus 5.5 相差不到 1 分,成本約為三分之一。Gemini 4 Neon 也已可在 Devin Desktop 和 Devin CLI 使用。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
FrontierCode 2.0 用是否該合併程式碼變更來評估模型,並列出 Gemini 4 Neon 的分數與每項任務成本,方便比較其表現與花費。
Cognition@cognition
·3 天前
We’ve evaluated Gemini 4 Neon on FrontierCode 2.0, our benchmark that measures whether you should merge the PR, and found that it scores within one point of Opus 5.5 at about a third of the cost.
It is the strongest of the Gemini model series with a score of 46.2% and a cost of $4.38 per task.
Gemini 4 Neon is now available to use in Devin Desktop and Devin CLI!
推文來源 · X (Twitter)在 X 參與討論