跳到正文

#評測/基準

RSS
今日 0 則
11月22日週日
11月21日週六
  1. Arena.ai44

    Arena 推出新的 Agent Arena Index,評比 AI 助理的表現。Gemini 4 Neon 首次上榜就以 1336 分拿下第 2 名;GPT-6.2 Astra 得第 6 名,GPT-6.2 Sol 得第 11 名,平均每項任務花費 $0.90。Qwen4-Max 排第 14 名,也是排名最高的中國模型。推文也列出其他榜單結果,例如 Muse Ember 在 Code Arena: WebDev 得 1608 分,排名升到第 1。這些成績和費用能幫大家比較不同 AI 助理的表現與成本。

  2. OpenAI News42

    Hebbia 用 GPT-6 Astra 幫金融研究找資料、做簡報

    銀行員評估收購案時,得從大量財報、合約和簡報裡找答案,還要把資料整理成符合公司格式的簡報。Hebbia 的 Matrix 能把答案連回原始檔案;測試中,GPT-6 Astra 會挑出相關資料來源,再依照使用者的架構和要求製作 PowerPoint 投影片。舉例來說,面對約 2,000 個檔案,它能協助整理客戶集中度、合約條款和營收流失情況,並在投影片附上可追查的來源。Hebbia 的測試顯示,99.5% 的引用段落都和問題相關,簡報也符合 97.9% 的適用要求。這能減少找資料和重做簡報的時間,讓銀行員把心力放在評估交易上。

  3. Artificial Analysis60

    讓機器人完成工作時,模型需要發出多少手臂指令,會影響任務執行效率。Artificial Analysis 在 AA-Robotics v0.1 測試 11 個模型,GPT-6.2 Astra 完成六項任務共發出 668 條指令,是受測模型中最少的,得分也最高。整理箱子這項任務中,它用了 92 條手臂指令,比 Claude Fable 5.2 少約 75%。

    推薦理由:AA-Robotics v0.1 比較 11 個模型完成六項任務的表現,並列出 GPT-6.2 Astra 的指令數與得分結果。

  4. Artificial Analysis42

    Artificial Analysis 推出 AA-Millennium,用七道千禧年數學難題比較人類與 AI 助理的成果。自 2000 年以來,目前只有人類解出並獲正式承認的龐加萊猜想有分數;Grigori Perelman 在 2003 年證明這道難題,並婉拒獎金。OpenAI 曾表示內部未公開模型解出 Navier-Stokes 問題,Levent Alpöge 今天則表示,他與 Claude 合作找到黎曼猜想的證明。這兩項 AI 成果都還沒經過獨立查證,分數只是暫定;P vs NP 等另外四道難題仍未解。

  5. Artificial Analysis46

    Artificial Analysis 用 Stirrup 測試 Parallel Search 的 fast 和 advanced 兩種模式,讓 GPT-5.6 Luna 用它搜尋網頁,完成 1,700 項搜尋任務。advanced 在 Artificial Analysis Search Index 得 83 分,與 Keenable Search(pro)並列第一;fast 得 82 分,排名第 4。兩種模式在 DeepSearchQA 都拿下 89 分 F1,名列前兩名。fast 平均每項任務約 $0.014,advanced 約 $0.030;這表示搜尋工具也能靠近高分同類服務,同時維持較低費用。

  6. Arena.ai44

    LMSYS Arena 更新了 Arena Alignment Index,調整偵測 AI 助理出錯的方式,希望涵蓋更多情況、判斷更可靠。這份指數會看 AI 助理在真實使用情境中,是否擅自做事、謊稱工作已完成,或把使用者沒說過、沒做過的事算到使用者頭上。新版排名中,OpenAI 包辦前七名;Claude Fable 5.2 首次上榜排第 8,Kimi K3.1 Pro 是進步幅度最大的開放模型,也排在第 9。這提醒我們,模型排名不只看能不能回答問題,也要看它會不會越權或誤報工作狀態。

11月20日週五
  1. Artificial Analysis45

    語言模型能不能做出比影片生成模型更好的影片?Artificial Analysis 讓 OpenAI 的 GPT-6.2 Astra 用 three.js 程式碼打造雪梨歌劇院、拆解中的機械錶,以及巨龍攻擊中古城鎮的場景,再用瀏覽器裡的虛擬攝影機拍成 15 秒、1080p、24 fps 的影片。ByteDance 的 Dreamina Seedance 2.5 則收到相同的攝影機路線,搭配路線參考圖作為文字提示詞。這場比較要看的是:語言模型寫程式做出的影片,能否和專門生成影片的模型競爭。

  2. Cognition76

    挑選程式碼變更要不要合併,得同時看模型判斷得準不準、花費多不多。Cognition 用自家的 FrontierCode 2.0 評估 Gemini 4 Neon,這項基準測試關心模型能否判斷一項程式碼變更是否該合併。Gemini 4 Neon 得分 46.2%,每項任務約 $4.38;Cognition 表示,它的分數和 Opus 5.5 相差不到 1 分,成本約為三分之一。Gemini 4 Neon 也已可在 Devin Desktop 和 Devin CLI 使用。

    推薦理由:FrontierCode 2.0 用是否該合併程式碼變更來評估模型,並列出 Gemini 4 Neon 的分數與每項任務成本,方便比較其表現與花費。

  3. LMSYS Org Blog74

    Ant International 團隊如何加速 DeepSeek-V4.1-Flash 在 H20-3e 上的推論

    DeepSeek-V4.1-Flash 在 H20-3e 上處理長提示時,等待第一個回答的時間佔了很大一部分。Ant International 團隊調整分開處理提示與生成回答的部署方式,也改進了多個運算步驟;在 8 張 GPU 的測試中,平均完成時間從 13.63 秒降到 4.70 秒,每秒輸出量從 847 個 token 增至 2,465 個。團隊也測試了 4 張 GPU 同機處理的配置,平均完成時間從 18.62 秒降到 7.96 秒。這些結果顯示,不同部署方式的速度和吞吐量各有差異,適合用來比較實際工作負載下的取捨。

    推薦理由:這組測試比較 DeepSeek-V4.1-Flash 在 H20-3e 上的分拆與同機部署,呈現延遲和吞吐量如何隨配置改變。

  4. Arena.ai49

    Google DeepMind 昨天推出 Gemini 4 Neon,影片用 3D 場景、遊戲、介面設計和資料圖表展示它的表現。Peter Gostev 也把它和 Opus、Fable、Astra、Sol 比較,談到畫面細節、創意、動態效果、設計一致性與價格,並分享自己對 Gemini 4 Neon 距離頂尖模型還有多近的看法。這類實際操作比較能讓人看出模型在不同任務上的表現,但推文沒有說明最終排名或比較結果。

  5. Artificial Analysis43

    不太熟悉新推出的 Gemini 4 系列?以下是 Gemini 4 Carbon、Neon 和 Hydrogen 的幾項重點 Carbon 是價格最高的模型(每 1M 輸入/輸出 tokens 為 $4/$20),接著是 Neon($3/$15)和 Hydrogen($1.50/$7.50)。在低推理力度下,Carbon 的表現是三者中最好的,但會使用更多 tokens。不過,Neon 和 Hydrogen 提高推理力度後的擴充套件效果更好,並多了一種推理選項(xhigh)。

  6. Artificial Analysis57

    比較模型時,評測專案和權重不同,算出的分數也會不同。Artificial Analysis Data Playground 現在可讓使用者挑選多項基準、調整權重,再把結果畫成圖表;只有在指數內每項評測都有成績的模型才會取得分數,計分方式沿用 Intelligence Index 的方法。平臺也提供公式指標、依模型發布日期播放圖表、熱圖、分組箱形圖,以及可用工作表和儀錶板整理資料的工作區。這項功能提供給 Artificial Analysis Pro 使用者。

11月19日週四
  1. Artificial Analysis60

    可靈(Kling)推出 Kling Image 4.0 後,Artificial Analysis 將它和其他影像模型放在同一份榜單比較。它在文字生圖排第 7,在圖片編輯排第 6;圖片最高可生成 8K,2K 價格不到排在它前面的 OpenAI 模型的三分之一。圖片編輯的 7 種操作中,有 5 種排進前 5 名。和上一版 Kling Image 3.0 Omni 相比,新版在兩份榜單都增加超過 225 Elo,文字生圖和每一種圖片編輯操作也都有進步。

    推薦理由:這份評測把 Kling Image 4.0 與前代及榜上模型比較,呈現它在文字生圖、圖片編輯和價格上的位置。

  2. Artificial Analysis41

    GPT-6.2 Astra 和 GPT-6.2 Sol 的回答風格跟前一版相比有明顯變化:內容更短、比較少分段整理,也更常先說答案。Astra 每次回答平均從 352 字降到 210 字,Sol 從 337 字降到 223 字;兩者承認不確定的分數也都下降,自然程度則提高。使用較高的回答投入程度時,兩款模型也更常以證據作答。這些變化讓回答讀起來更直接、自然,但也表示它們比較少主動說自己不確定。

  3. Arena.ai64

    要比較 AI 助理做事的表現,也得看完成任務花多少錢。Arena.ai 用 Agent Arena Index 排名,這次的 GPT-6.2 Astra 和 Sol 成績來自 7.1K+ 次真實 AI 助理工作紀錄。Astra 排第 6,得 1291 分,比前一版多 9 分;每項任務中位成本是 $2.94,比前一版低 40%。Sol 排第 11,得 1241 分,分數和 GPT-6.1 Sol 相同,但每項任務成本低 13%,為 $0.90。兩者相比,Astra 高 50 分,Sol 的成本則低 69%。

    推薦理由:這份榜單把 GPT-6.2 Astra 和 Sol 的任務分數與每項任務成本放在一起比較,能看出兩款模型在表現和花費上的差異。

  4. Artificial Analysis70

    挑 AI 模型時,分數、花費和完成工作所需的時間常要一起考量。Artificial Analysis 測試 Google 的 Gemini 4 Neon,發現它在 Intelligence Index 得 61 分,比 Gemini 4 Carbon 高 1 分;每項任務花費 $6.44,約低 17%,平均約 21 分鐘,比 Carbon 的約 36 分鐘快。報告也指出,Neon 每項任務用的輸出 token 更多,較低花費來自 token 價格較低,較快則和輸出速度較高有關。用 Antigravity CLI 測試寫程式的 AI 助理時,Neon 的分數也高於 Carbon,成本低於報告列出的 Claude Opus 5.5 和 Claude Fable 5.2。

    推薦理由:這份評測比較 Gemini 4 Neon 與 Carbon 的任務成本和完成時間,也拆出價格與輸出速度對差異的影響,方便衡量效能和花費。

  5. LMSYS Org Blog68

    Humming 整合 SGLang,讓低位元 MoE 模型跑得更快

    大型 MoE 模型需要存放大量專家權重,怎麼在省記憶體的同時加快運算,是實際部署時的難題。Humming 把低位元權重接上專用運算核心,整合到 SGLang 後,仍由 SGLang 負責分派工作,Humming 負責處理輸入和矩陣運算。文章在 8 張 H20-3e GPU 上測試 DeepSeek-V4.1-Flash-1017:相同 A16 精度下,長上下文輸入的速度比 Marlin 快 1.07 到 1.23 倍;改用 FP8 專家運算也能提高部分測試的輸出速度。這些結果只適用於文中測試的設定,不能直接代表其他模型或工作負載。

    推薦理由:文章比較 Humming 在不同精度與專家分流設定下的速度,並交代測試條件,能看出加速幅度會隨工作負載與設定改變。

  6. Arena.ai68

    挑選 AI 助理時,除了看任務做得好不好,也要考慮每次任務的花費。Arena 根據社群進行的 4.2k 次真實 AI 助理工作階段,將 Gemini 4 Neon (High) 排在 Agent Arena Index 第二名,得分為 1336,單次任務中位成本為 $2.82。榜單也列出使用者滿意度、回應修改的能力和任務完成情況等指標;這些數字能讓人比較表現與費用,但只反映這份榜單採用的評測方式。

    推薦理由:Arena 的排名與每項任務中位成本,呈現 Gemini 4 Neon (High) 和其他模型在表現與費用上的差距。

  7. Arena.ai49

    LMSYS Arena 推出 Agent Arena Index 和六項細分排名,觀察 AI 助理做工作、寫程式、聊天、使用工具等表現,並搭配 Alignment Index 評估它們是否依照使用者意思行動。這些排名根據全球社群數百萬項真實任務的結果計算;總排名參考任務是否完成、使用者好評或抱怨、Bash 工具使用是否可靠,以及 AI 助理能否依照使用者更正調整。Claude Fable 5.2 (Max) 以 1463 分排名第一,高於第二名 Gemini 4 Carbon (High) 的 1307 分。這套指標讓大家能從不同面向比較 AI 助理處理真實工作的表現。

  8. Arena.ai47

    GPT-6.2 Astra 和 GPT-6.2 Sol 在 LMSYS Arena 的 Code Arena: WebDev 實測中,都進入了「表現與花費都很有競爭力」的前緣位置。Astra 得到 1781 分、排名第 3,每項任務的中位花費是 $5.45,比前一版 GPT-6 Astra 低 42%;Sol 得到 1757 分、排名第 7,任務花費中位數是 $1.45,比 GPT-6.1 Sol 低 21%。Astra 比 Sol 高 24 分,Sol 的花費則低 73%。這些成績讓人能比較兩款模型在網頁開發任務中的表現與成本;AI 助理的分數預計稍後公佈。

  9. Hugging Face Blog78

    作者用 Transformers 在 32 GB Mac 上執行 180B MoE 模型

    大型 MoE 模型的專家權重很佔空間,往往放不進一般筆電的記憶體。作者替 Transformers 加上串流載入方式,只從 SSD 讀取模型當下挑中的專家,並用有限大小的快取保留常用部分;其他權重和 n-gram 資料也分別處理,讓 Qwen3.8-Flash-Next 能在 32 GB 的 Mac 上執行。經過調整後,短文字生成速度是每秒 13.9 個 token,和 Strata 的每秒 14.8 個接近。作者也指出,剩下的速度差距主要和 Python 與 GPU 之間的等待有關。

    推薦理由:作者比較多種 MoE 推論引擎,並實測如何只載入當下用到的專家,讓大型模型在 32 GB Mac 上運作。

  10. Arena.ai42

    LMSYS Arena 比較了 Muse Ember、GPT-6 Luna 和 Claude Haiku 5.5 在實際工作任務上的速度、表現和成本。Muse Ember 完成一項任務平均花 27 秒,另外兩款分別要 5.8 分鐘和 1.9 分鐘;它的 Agent Arena 分數提升 2.3%,也高於對手的 1.4% 和 0.4%。每項任務成本則是 1.9 美分,低於另外兩款的 7.0 美分和 6.9 美分。這些結果讓 Muse Ember 在三項比較中都領先,顯示它處理實際工作任務時更快、成本也更低。

11月18日週三
  1. Artificial Analysis38

    無法前往邁阿密參加 GTA VI 發布活動?兩個 AI 模型替你打造這座城市 我們請 Anthropic 的 Claude Fable 5.2 和 OpenAI 的 GPT-6.2 Astra,打造本週化身為 Vice City、迎接 GTA VI 發布活動的邁阿密 ➤ 每個模型各用一個提示詞,在無法連上網路的 AA-3D 沙盒中製作 ➤ 兩者都在 Ocean Drive 沿線放入真實存在、提示詞從未提及的飯店,包括 Colony 和 Avalon ➤ 每個場景都能開車、搭快艇或乘飛船探索,可選日落或夜間景色

  2. Artificial Analysis68

    AI 模型能不能做出好玩的互動式 3D 場景,可以用 AA-3D 評測比較。Artificial Analysis 表示,GPT-6.2 Astra 在這項評測中排名第一;和其他模型製作的場景兩兩比較時,人們在 152 次投票中有 139 次偏好 GPT-6.2 Astra 的場景。

    推薦理由:AA-3D比較模型製作互動式 3D 場景的能力,並以 152 次兩兩投票呈現 GPT-6.2 Astra 與其他模型的比較結果。

  3. Arena.ai61

    GPT-6.2 Astra、Sol 和 Claude Fable 5.2 的 Agent Arena 分數尚未公佈。等待期間,Peter Gostev 以實際操作比較這些模型生成視覺內容的表現,測試專案包括 3D 場景、HTML 動畫、網站、遊戲和資料圖表,也展示了各項測試使用的提示詞。這則貼文提供影片的初步觀察;Arena 表示,根據全球使用者實際工作紀錄計算的分數將於近日公佈。

    推薦理由:這場實測涵蓋 3D 場景、動畫、網站、遊戲與資料圖表,可用來瞭解比較範圍和各模型的初步表現。

  4. Arena.ai69

    MAI-Image-2.7 已結束預覽,Arena 的榜單比較了它和前一版 MAI-Image-2.6 在圖片任務上的表現。新版本在多張圖片編輯排第 3,單張圖片編輯和文字生成圖片都排第 4,整體比前一版約高 50 分;單張圖片編輯的進步最大,例如文字呈現從第 13 名升到第 4 名。每張圖片價格是 $0.035,榜單也把它列在兼顧價格與排名的選項中。

    推薦理由:Arena 比較 MAI-Image-2.7 與前一版在多種圖片任務的名次,也列出每張 $0.035 的價格,方便了解效能與成本的取捨。

  5. Artificial Analysis76

    模型在機器人基準測試拿高分,不代表每項實際操作都能做好。Artificial Analysis 用 Codex 控制真實機械手臂,讓 GPT-6.2 Astra 執行八項實體任務:完成六項,倒液體的任務部分完成,只有測量盒子失敗。它在 AA-Robotics v0.1 得到 79 分,比 GPT-6 Astra 高 10 分,也領先 GPT-6.2 Sol、Claude Fable 5.2 和 Gemini 4 Hydrogen。

    推薦理由:AA-Robotics v0.1 的分數比較與真實機械手臂測試,呈現模型在基準表現和實際操作任務上的差異。

  6. Artificial Analysis73

    挑選影像編輯模型時,品質和價格常得一起考量。Microsoft 推出 MAI-Image-2.7 和 MAI-Image-2.7-Flash,Artificial Analysis 表示兩款模型在影像編輯與文字生成圖片的品質和價格比較中,都進入表現與費用的前段。MAI-Image-2.7 每 1k 張圖片要 $34.82,Flash 版要 $10.24;前者在文字或符號、場景與風格、畫面增強與修復等編輯專案排名第 1,後者在場景與風格編輯排名第 3。這些結果提供了比較兩款模型用途與費用的依據。

    推薦理由:Artificial Analysis 比較兩款模型在影像編輯與文字生成圖片的表現和價格,可看出不同任務下品質與費用的取捨。

11月17日週二
  1. Arena.ai52

    要測試 AI 助理能不能做出比已發表研究更好的方法,不能讓它直接照著論文找答案。FrontierCS 2 是一項基準測試,要求 AI 助理在看不到原始論文、也不能上網的情況下,挑戰已發表的方法。UC Berkeley 的博士生到 Arena HQ 介紹這項測試,也談到成本和表現如何取捨,以及搜尋取代強化學習、重用快取的圖演演算法結果等評測漏洞。內容提醒,設計可靠的測試仍需要研究者判斷。