Terminal-Bench 4.0(Artificial Analysis 復跑)
Artificial Analysis / 程式設計 · 在命令列環境裡獨立完成一整件工程任務。
在 888news 中參與排名
依據預算不參與排序
上游數據時間待核實
最近成功同步尚未開始採集
它測什麼,怎麼測
取 Artificial Analysis 獨立公佈的 Terminal-Bench 4.0 的通過率。同一型號按最高推理檔位選代表配置,選擇不看分數。
如何使用這份依據
計分:程式設計領域,與 Vals 復跑的 Terminal-Bench 4.0 同屬一類,兩家合起來算一票。
評測局限與數據署名
終端任務對執行環境和時限設定敏感;廠商介面回退的執行照常計入並標註(AA 不公佈受影響比例)。
數據許可:Artificial Analysis 公開頁面資料;展示須顯著署名並連結來源,遵守其 Terms of Use
成績由 Artificial Analysis 發布,各項原始分數使用不同尺度,不能直接相加;參考名次採用公開的分差標準化規則。