跳到正文

評測基準

模型到底誰強:Benchmark 成績、評測方法論爭議與排行榜變化的持續記錄。

138條精選相關主題模型發布論文研究推理能力

最新精選

第 1–20 條 · 共 138 條
11月22日週日
  1. The New Stack77

    GPT-6.2 Astra 和 Claude Fable 5.2 實測:準確度接近,費用與速度差很多

    選模型時,答得準不準只是其中一件事,花多少錢、等多久也會影響實際使用。作者用月底帳務、帳務程式修正和實驗室資料分析三種工作比較 GPT-6.2 Astra 與 Claude Fable 5.2;兩者在帳務和資料分析都拿滿分,Fable 5.2 在程式測試多拿 2 分。整體來看,Astra 花費較低、完成較快,但在程式測試中漏掉一條會影響顧客帳單的規則。作者建議先讓 Astra 重做幾次並比對結果,有錯誤或差異時,再用 Fable 5.2 複核。

    推薦理由:三種工作測試顯示兩個模型的準確度接近,但花費和完成時間差距很大,能幫助讀者依錯誤代價選擇模型與複核方式。

  2. Dev.to Top Tech81

    Inkling 2 Mini 如何用重複運算,讓 26.4B 引數模型裝進約 20GB

    模型引數多,常會需要更多記憶體;Inkling 2 Mini 用一種重複運算的方法,讓模型可以裝進約 20GB。它會讓中間幾層重複處理同一份資料,因此用同一批引數多算幾次,而不是一直增加新引數。模型共有 26.4B 引數,每個 token 只啟用 3.4B,文章說可在 32GB Mac 上執行。它在 SWE-bench Verified 得到 79.2%,但這些成績來自團隊自己的測試,還沒有獨立重現;文章也提到,不同來源對重複運算的次數說法不一。

    推薦理由:文章以 Inkling 2 Mini 的引數規模、記憶體需求與程式基準比較,說明重複使用部分層如何用更多運算換取較小模型,並交代測試仍來自實驗室。

11月21日週六
  1. Dev.to Top Tech76

    Gemini 4 Hydrogen 和 GPT-6.1 Terra 評測:Hydrogen 在 9 項共同基準中贏了 8 項

    挑模型時,分數較高的選項也可能比較貴,而且公開測試不一定符合自己的工作。作者比較 Gemini 4 Hydrogen 和 GPT-6.1 Terra 在 Google 模型卡上都有分數的 9 項基準,Hydrogen 贏了 8 項,Terra 則在科學類終端機測試勝出;這些結果由 Google 執行,兩款模型的測試條件可能不同。依文中列出的標準 API 費率,輸入 2,000 萬、輸出 500 萬 token,每月費用分別是 $67.50 和 $45.00。文章建議用自己的工作測試分數、費用和成功率,再決定怎麼選。

    推薦理由:文章把兩款模型的公開基準分數、每百萬 token 費用與月用量試算放在一起,呈現選擇時效能和成本的取捨。

  2. Dev.to Top Tech76

    Claude 協助提出的黎曼猜想證明通過 Lean 編譯,還不能算證明成立

    程式通過 Lean 編譯,只表示機器檢查了程式中的推理步驟,還不能單靠這點確認它證明的就是數學家所說的黎曼猜想。文章整理了 Levent Alpöge 與 Claude 協作提出的證明候選:MIT 的 Andrew Sutherland 獨立編譯程式碼,結果通過,但確認程式中的命題和正式版本相同、再用多個獨立核心重新檢查的程式,當時還沒有結果。編譯也不會自動發現命題寫得較弱、定義遭替換,或證明用了額外假設。作者因此提醒,應等後續檢查與同儕審查完成,再稱它為已證明。

    推薦理由:這篇文章拆解 Lean 編譯、命題比對與多核心重查各自能確認的事,幫助讀者分清程式通過檢查和黎曼猜想已獲證明的差別。

  3. Artificial Analysis60

    讓機器人完成工作時,模型需要發出多少手臂指令,會影響任務執行效率。Artificial Analysis 在 AA-Robotics v0.1 測試 11 個模型,GPT-6.2 Astra 完成六項任務共發出 668 條指令,是受測模型中最少的,得分也最高。整理箱子這項任務中,它用了 92 條手臂指令,比 Claude Fable 5.2 少約 75%。

    推薦理由:AA-Robotics v0.1 比較 11 個模型完成六項任務的表現,並列出 GPT-6.2 Astra 的指令數與得分結果。

  4. aihot76

    METR 更新能力評測:AI R&D 相關能力約每 3.6 個月翻倍

    要量出 AI 模型能獨立完成多長、多少工作並不容易,評測方式也可能影響結果。METR 更新能力評測,測試截至 Opus 5.5 和 GPT-6 Astra 的模型在 TH1.1 與 TH2 任務上的表現,發現模型的時間視野約每 3.6 個月翻倍;在可驗證的任務子集中,翻倍時間約為 1.65 個月。METR 也討論,評測環境和 RL 訓練環境越來越接近,可能帶來測量偏差。

    推薦理由:METR 用任務測量模型完成長程工作的能力增速,也說明評測環境接近 RL 訓練環境時,可能如何影響測量結果。

  5. Dev.to Top Tech76

    PHP 8.6 新功能與升級提醒:Laravel 效能沒有明顯提升

    升級 PHP 後,程式可能多了新功能,卻不一定跑得更快,還可能遇到相容性問題。作者整理 PHP 8.6 的部分新功能、棄用專案與行為變更,也對照微基準和 Laravel、Symfony、WordPress 的測試結果:微基準有些專案變快,但 Laravel 的每秒請求數幾乎沒變,Symfony 則略有增加。文章也提醒,工作階段 Cookie 預設值改變,可能影響讀取 Cookie 或跨網站送出表單的程式;升級前應先跑測試,並檢查相關設定和相依套件。

    推薦理由:文章把 PHP 8.6 的功能與相容性變更放在一起檢視,並比較微基準和框架測試,呈現升級時的實際取捨。

11月20日週五
  1. Dev.to Top Tech79

    Hy4 flash 自架指南:220B 引數模型的顯示卡記憶體與授權怎麼看

    220B 引數的 Hy4 flash 看起來很大,但每個 token 實際啟用的引數約為 12B;自架時,權重檔和長上下文的記憶體需求才是主要考量。作者拆解模型結構與檔案大小,估算在 1M-token 上下文下,若 KV cache 儲存壓縮後的資料,每條序列約需 6.9 GB;這是作者的推算,實際用量會依快取方式和精度而變。官方 FP8 配方使用 8 張 GPU,授權也有條件:以 API 等方式提供遠端服務,達到指定營收或月活門檻時,需要另取得書面授權。

    推薦理由:文章把 Hy4 flash 的權重、KV cache 與授權條件拆開估算,也標出哪些是作者推算、哪些是騰訊提供的數字,能幫讀者先判斷自架成本與服務限制。

  2. Dev.to Top Tech76

    Kilo 用金字塔建造測試比較 GPT-6.2 Astra 和 Sol

    挑 AI 模型寫程式時,價格和做出來的成果都會影響選擇。Kilo 用同一段提示詞,讓 GPT-6.2 Astra 和 GPT-6.2 Sol 各自做出工人建造金字塔、船隻沿河運送材料的互動 3D 場景。兩者都放好了 204 塊石頭並完成 8 層;Astra 的畫面較像電影場景,Sol 的畫面較簡單,但能清楚顯示每組工人在做什麼。這次每個模型只測了一次,作者提醒結果只能當初步參考,也提供在 Kilo Desktop 重跑比較的方法。

    推薦理由:文章用同一個金字塔建造任務比較 Astra 與 Sol 的畫面和操作呈現,也提醒每個模型只跑過一次,結果適合當作初步參考。

  3. Dev.to Top Tech79

    Gemini 4 Neon 和 Claude Opus 5.5 寫程式比較:哪些結果有資料佐證?

    挑寫程式的 AI 模型時,單看哪個跑分高,可能看不出實際差別。這篇文章整理 Gemini 4 Neon 和 Claude Opus 5.5 的公開比較:Google 的資料顯示 Neon 在部分基準測試領先,Opus 5.5 則在另外兩項測試小幅領先;另一項編碼助理指標中,兩者分數接近。文章也列出估算的每項編碼任務費用,Neon 約 $6.86,Anthropic 的兩種設定約 $12.61 至 $15.47。作者提醒,最高思考設定會讓輸出 token 數增加一倍以上,建議先用自己的專案測試再決定是否更換。

    推薦理由:文章整理 Gemini 4 Neon 與 Claude Opus 5.5 的基準測試、任務成本和輸出差異,能幫助讀者看懂比較結果的適用範圍。

  4. Dev.to Top Tech81

    Gemini 4 Hydrogen 和 Claude Sonnet 5.5 怎麼選?比較測試表現與成本

    挑寫程式用的模型,不能只看每個 token 的價格,還得看工作型別和完成任務要花多少錢。文章比較 Gemini 4 Hydrogen、Claude Sonnet 5.5 和 GPT-6.1 Sol:Google 公佈的測試中,Hydrogen 在 9 項裡贏了 6 項,較適合呼叫工具和修 bug;Sonnet 5.5 則在終端機操作、電腦使用和科學命令列測試勝出。獨立評分中,Sonnet 5.5 略高於 Hydrogen;Hydrogen 產生的文字較多,因此每個 token 較便宜,不一定代表每項工作花費更低。文章也整理了價格與使用方式,並建議用自己的工作測試再決定。

    推薦理由:文章並列 Google 公佈的測試與獨立評分,也提醒輸出較長會拉高每項工作的成本,方便依實際工作型別比較模型。

  5. Cognition76

    挑選程式碼變更要不要合併,得同時看模型判斷得準不準、花費多不多。Cognition 用自家的 FrontierCode 2.0 評估 Gemini 4 Neon,這項基準測試關心模型能否判斷一項程式碼變更是否該合併。Gemini 4 Neon 得分 46.2%,每項任務約 $4.38;Cognition 表示,它的分數和 Opus 5.5 相差不到 1 分,成本約為三分之一。Gemini 4 Neon 也已可在 Devin Desktop 和 Devin CLI 使用。

    推薦理由:FrontierCode 2.0 用是否該合併程式碼變更來評估模型,並列出 Gemini 4 Neon 的分數與每項任務成本,方便比較其表現與花費。

  6. LMSYS Org Blog74

    Ant International 團隊如何加速 DeepSeek-V4.1-Flash 在 H20-3e 上的推論

    DeepSeek-V4.1-Flash 在 H20-3e 上處理長提示時,等待第一個回答的時間佔了很大一部分。Ant International 團隊調整分開處理提示與生成回答的部署方式,也改進了多個運算步驟;在 8 張 GPU 的測試中,平均完成時間從 13.63 秒降到 4.70 秒,每秒輸出量從 847 個 token 增至 2,465 個。團隊也測試了 4 張 GPU 同機處理的配置,平均完成時間從 18.62 秒降到 7.96 秒。這些結果顯示,不同部署方式的速度和吞吐量各有差異,適合用來比較實際工作負載下的取捨。

    推薦理由:這組測試比較 DeepSeek-V4.1-Flash 在 H20-3e 上的分拆與同機部署,呈現延遲和吞吐量如何隨配置改變。

  7. aihot75

    Gemini 4 Neon 首發實測:Peter Gostev 比較 3D、遊戲與介面表現

    新模型的實際表現如何,光看排名不容易知道,也得看看它在不同工作裡做得怎麼樣。Peter Gostev 實測 Gemini 4 Neon,拿它和 Opus、Fable、Astra、Sol 等模型比較,展示它在 3D 場景、遊戲、介面和資料視覺化上的表現,並討論畫面細節、操作、設計一致性與定價。Arena 引用的排名資料來自 4.2k 個真實世界 AI 助理對話,Gemini 4 Neon 得分 1336 分、排名第 2,每項任務中位成本為 $2.82;這些數字提供了比較表現與成本的參考。

    推薦理由:這段實測涵蓋 3D 場景、遊戲、介面與資料視覺化,並搭配 Arena 排名和每項任務成本,能從多種用途比較 Gemini 4 Neon 的表現。

  8. Dev.to Top Tech78

    NVIDIA RTX Spark 桌機開賣,從 $4,399.99 起可在本機跑 AI 模型

    想在自己電腦上跑大型 AI 模型,常會遇到顯示卡記憶體不夠,或不想把資料送到雲端的問題。NVIDIA RTX Spark 桌機已在美國開賣,MSI 64GB 機型售價 $4,399.99;較大的 128GB 記憶體配置,則能讓 120B 引數模型載入本機。共享記憶體也讓 CPU 和 GPU 能使用同一大池記憶體,但裝得下不代表跑得快。文中整理 ASUS、MSI、Dell 和 Microsoft 機型的價格與限制,並提醒目前桌機效能數字來自廠商,還沒有獨立測試;此外,這些電腦使用 Arm 架構,購買前要確認常用軟體能否順利執行。

    推薦理由:文章整理各款 RTX Spark 桌機的價格與記憶體配置,也說明本機執行大型模型的隱私好處,以及效能數字尚無獨立測試佐證。

11月19日週四
  1. Dev.to Top Tech78

    2026 年 AI 助理沙箱評比:E2B、Daytona 等 7 種服務怎麼計費

    AI 助理常有不少時間在等模型回覆,但沙箱服務可能仍按整段開啟時間收費,讓帳單差很多。Yusuf 用 2 vCPU、4 GB 記憶體的程式助理情境,比較 7 種沙箱跑 1 小時及 100 人每月使用的費用;依他的估算,每小時從 Upstash Box 的 $0.017 到 E2B、Daytona 和 Blaxel 的 $0.166。差異主要來自 CPU、記憶體是否按實際使用量計費,以及等待時是否仍收費。文章也提醒,執行使用者提供的程式碼時要留意隔離與網路存取,並先用自己的工作流程實測一天再估算費用。

    推薦理由:這份比較把七種沙箱放進同一個會等待模型回覆的程式助理工作情境,呈現計費方式如何影響每小時與每月費用。

  2. Tom’s Hardware AI & Computing76

    三張二手 Nvidia V100 跑 Qwen 3.6 35B,長上下文仍有每秒 72.7 個 token

    想在家用電腦跑大型語言模型,買新顯示卡可能很花錢。這篇評測用三張二手 Nvidia V100 組成總價 $1,042 的主機,測試 Qwen 3.6 35B;在 4K 上下文時,每秒約產生 100 個 token,到了 128K 仍有 72.7 個。作為比較,三張 P100 在相同條件下只有 40.2 個,V100 每次測試的 GPU 耗電也約是 P100 的一半。作者提醒,各臺裝置使用的執行工具不同,因此比較數字只能大致參考。

    推薦理由:這組測試比較不同退役 GPU 在長上下文下的速度與耗電,也列出自組成本,可用來評估舊卡能否應付本機模型推論。

  3. Dev.to Top Tech78

    三家雲端 AI 助理平臺如何隔開使用者工作階段與執行程式碼

    把 AI 助理交給多人共用時,使用者的資料和助理寫出的程式可能碰到不同的安全風險。這篇比較 Amazon Bedrock AgentCore、Microsoft Foundry 和 Google 的 AI 助理平臺:AgentCore 和 Foundry 預設讓每位使用者的整個工作階段各自在獨立環境執行;Google 則把助理寫出的程式放進另一個不帶助理憑證的沙箱,但助理本身會和其他請求共用容器。作者也提醒,Google 沒有說明同一容器中的請求能否看到彼此的記憶或檔案,而前兩者若要讓程式遠離助理憑證,得另外使用程式碼沙箱。團隊可依最擔心資料互通,還是程式取得憑證,來比較預設防護。

    推薦理由:文章並排比較三家雲端平臺預設隔離的位置,並指出各自仍需確認或另行設定的防護,能協助團隊依主要風險選擇架構。

  4. Artificial Analysis60

    可靈(Kling)推出 Kling Image 4.0 後,Artificial Analysis 將它和其他影像模型放在同一份榜單比較。它在文字生圖排第 7,在圖片編輯排第 6;圖片最高可生成 8K,2K 價格不到排在它前面的 OpenAI 模型的三分之一。圖片編輯的 7 種操作中,有 5 種排進前 5 名。和上一版 Kling Image 3.0 Omni 相比,新版在兩份榜單都增加超過 225 Elo,文字生圖和每一種圖片編輯操作也都有進步。

    推薦理由:這份評測把 Kling Image 4.0 與前代及榜上模型比較,呈現它在文字生圖、圖片編輯和價格上的位置。

  5. Dev.to Top Tech79

    Gemini 4 Neon 評測:比較基準、API 費用與 AI 助理工作流程

    挑模型時,排行榜上的分數不一定能告訴你實際工作要花多少錢,工作流程工具也會影響結果。作者整理 Gemini 4 Neon、Carbon 和 Hydrogen 的價格與測試成績,並說明 Neon 的輸出費用包含思考用的 token,調高思考程度也會增加費用;Carbon 和 Argon 的優惠價格則會在 12 月 1 日結束。文章還比較同一模型在不同程式工作流程工具上的測試結果,指出分數差距可能很大,建議團隊用自己的工作流程和任務測試,再估算費用。

    推薦理由:文章比較 Gemini 4 Neon 與 Carbon 的費用和測試結果,也指出同一模型換了工作流程工具後,程式任務分數差異很大。