跳到正文

評測基準

模型到底誰強:Benchmark 成績、評測方法論爭議與排行榜變化的持續記錄。

138條精選相關主題模型發布論文研究推理能力

最新精選

第 101–120 條 · 共 138 條
11月10日週二
  1. aihot77

    Claude Mythos 5.2 預測基因治療載體 AAV 衣殼結構

    Claude Mythos 5.2 預測出用於遞送基因治療的 AAV 蛋白質衣殼完整結構。 方法:模型編寫程式碼,對相鄰五鏈分組執行開源折疊模型,再利用衣殼對稱性拼合全部 60 條鏈。 結果:在 AAV2 上,預測結構與實驗結構的誤差約為一個原子寬度。

    推薦理由:從相鄰五鏈分組預測到利用衣殼對稱性拼合,原文交代了方法與 AAV2 的誤差結果,可供理解模型在結構生物學任務中的表現。

  2. Dev.to Top Tech91

    Claude Fable 5.2 基準測試、價格與首批獨立測試結果

    Claude Fable 5.2 已推出,文章整理 Anthropic 公佈的基準測試、Vals AI 的首批獨立測試,以及價格與開發者回饋。\n\n- Anthropic 測試:FrontierCode 2.0 得分 49.1%,FrontierSWE v2 得分 69.9%;文章指出,部分基準由其他模型領先。

    推薦理由:文章並列 Anthropic 與 Vals AI 的測試結果,也呈現不同工作專案的排名落差,可用來理解排行榜表現與實際任務評估之間的差異。

  3. ARC Prize72

    Claude Fable 5.2 在 ARC-AGI-3 標準測試架構取得新高分,並公佈 ARC-AGI-1、2、3 的評測結果。 ARC-AGI-3:provider adapter harness 為 97.7%、$18.6K;standard harness 為 81.2%、$21.9K。 ARC-AGI-2:93.8%,每題 $0.98。 ARC-AGI-1:98.5%,每題 $0.36。 原文連結

    推薦理由:同一模型在兩種 ARC-AGI-3 測試架構下的分數與成本不同,並列 ARC-AGI-1、2 的結果,可看出評測架構和任務成本如何影響比較。

  4. LMSYS Org Blog69

    DeepSeek-V4.1-Flash 如何在 H200 上加快分離式 Prefill 與 Decode

    處理長提示詞時,DeepSeek-V4.1-Flash 的 Prefill 會排隊,等待時間也拉長。Ant International AI Infra Team 在 8 張 H200 上用 SGLang 分開處理提示詞和逐字生成,並調整索引器計分、Prefill 分塊與 MoE 資料傳送,也讓有限重播能搭配 CP 和 DSpark。合併設定的 8 個測試案例中,E2E 延遲降低約 15%–64%,但每個輸出 token 的時間增加 3%–52%;GSM8K 準確率則從 96.74% 降到 95.38%。文章提醒,整體結果包含多項改動,不能把改善歸功於單一調整;有限重播也會省略部分區域性運算,可能影響答案品質。

    推薦理由:文中把各項加速分開測量,也列出合併設定的延遲與 GSM8K 變化,呈現輸入處理變快和逐字生成變慢之間的取捨。

11月9日週一
  1. Dev.to Top Tech76

    Textract、Bedrock Data Automation 與視覺 LLM 帳單照片抽取實測:140 張影像與 6 頁帳單

    作者以 140 張影像、一份 6 頁帳單及多種真實 API 呼叫,比較 Textract、Bedrock Data Automation(BDA)與視覺 LLM 擷取帳單資料的準確度、成本和錯誤檢查方式。

    推薦理由:這項比較以 40 張合成帳單照片、95 張真實收據及一份多頁帳單測試抽取工具,並量化設定變更與交叉核對對錯誤攔截的差異。

  2. Lobste.rs (Engineering Discussion)63

    blqsort 如何在基準測試中快於 C++ 的 std::sort

    blqsort 以分支消除、排序網路與穩健的樞紐選取加速快速排序;文章比較它與 std::sort 在不同資料型態及平臺上的排序時間。

    推薦理由:文章以 5,000 萬筆資料的測試呈現 blqsort 與 std::sort 的耗時差異,也說明分支消除、排序網路與樞紐選取如何共同影響排序效能。

  3. Dev.to Top Tech77

    Darwin-180B-RSI-R3 在 SuperCLUE 數理推理排名第二,超越 Gemini 與 Grok

    Darwin-180B-RSI-R3 在 SuperCLUE 2026 年 11 月數學與科學推理測試中獲得 73.68 分,排名第 2,並列開放權重模型第 1。

    推薦理由:Darwin-180B-RSI-R3 在 SuperCLUE 數理推理維度排名第二、開放權重模型排名第一,但五維綜合排名為第九,呈現其能力集中於特定評測專案的差異。

11月8日週日
  1. aihot68

    GPT-Image-2.6 實測:10 種 GIF 提示詞玩法與三項新能力評測

    GPT-Image-2.6新增原生 GIF 生成、跨對話角色記憶、結構引出線對齊與 SVG 輸出等能力,作者以多組動圖提示詞和三項靜態功能進行實測。本文由 AIHOT 聚合整理,作者分享的測試結果包括: - GIF 生成:可生成 2–16 幀短迴圈 GIF,文中展示黏土動畫、表情包、動態貼紙、Loading 圖、圖表與產品介面演示等玩法。

    推薦理由:文章以多組動圖與靜態圖實測呈現 GPT-Image-2.6 的新增能力、瑕疵與成本變化,可供評估是否值得調整既有工作流程。

11月7日週六
  1. ARC Prize70

    ARC Prize 公佈 Inkling 2 Small 在 ARC-AGI-1 與 ARC-AGI-2 的 Verified 評測分數及每題成本。 ARC-AGI-2:81.7%,$0.27/task。 ARC-AGI-1:96.5%,$0.08/task。 ARC Prize 表示,Inkling 2 Small 的表現超越其評測過的所有開放權重模型;Thinking Machines 計畫於下週釋出完整權重。 原文連結:https://x.com/arcprize/status/2118788850742911073

    推薦理由:ARC Prize 提供 ARC-AGI-1 與 ARC-AGI-2 的分數及單題成本,可比較 Inkling 2 Small 在兩項基準上的表現與成本。

11月6日週五
  1. Browser Use69

    Browser Use 實測七家住宅代理服務,整理 AI 助理上網的價格與差異

    AI 助理要查商品、比價或填表時,網站看到的網路位置和連線是否中斷,都可能影響工作能不能完成。Browser Use 用相同的瀏覽器設定測試七家住宅代理服務,比較價格、地點選擇、連線能維持多久,以及網站存取和表單工作的結果。測試中,有些工作雖然換了 IP,仍能接回已存的內容;另一些連線出錯,無法確認草稿是否恢復。測試次數不多,不能用來排出普遍的可靠度名次,作者建議用自己的網站和工作流程實測,並把重試耗掉的流量算進成本。

    推薦理由:文章用相同的瀏覽器設定比較七家住宅代理服務,也整理各自的價格與限制,並說明小規模測試為何不能代表所有網站和工作流程。

  2. Artificial Analysis71

    Thinking Machines 發布 Inkling 2 Small,在 Artificial Analysis Intelligence Index v5.0.1 得分 31,目前以專有模型形式透過 Tinker 與 Tinker Playground 提供,權重預計日後以 Apache 2.0 釋出,日期尚未確認。

    推薦理由:Inkling 2 Small 在 AA Intelligence Index 得分提升的同時,輸出 token 數與單次任務成本也增加;各項基準差異可用來比較其代理任務、程式編寫與研究能力。

11月5日週四
11月4日週三
11月3日週二
  1. Hacker News (official RSS)76

    Claude Opus 5.5 建築製圖測試:可產出接近申請建照水準的圖面

    建築師以兩項實作測試比較 13 個模型,發現 Claude Opus 5.5 在人工指導與修訂下,能為簡單建築產出接近申請建照水準的施工圖,也能依照片與草圖繪製既有建築的平面、立面與細部圖。

    推薦理由:作者以兩項建築製圖測試比較 13 個模型,呈現 Claude Opus 5.5 在人工修訂下完成圖面的能力與仍存缺陷,並討論技術繪圖成本下降對建築工作的影響。