跳到正文

#評測/基準

RSS
今日 14 則
11月10日週二
  1. Rohan Paul78

    Claude Fable 5.2 從短提示產出規格、電路圖、電路板佈局、可 3D 列印的外殼與韌體,供三種硬體原型使用。 - 實作情況:電路板製造商 Diode Computers 直接使用模型檔案製作免持電話、語音助理中樞與手持虛擬寵物,略過一般的多輪製造修改。

    推薦理由:Diode Computers 的實作與 PCB Gym 資料,呈現 Claude Fable 5.2 在電路板佈局修正上的表現及 API 成本差異。

  2. aihot78

    Artificial Analysis 評測 Claude Fable 5.2:以 65 分登上 Intelligence Index v5 榜首

    Claude Fable 5.2 在 Artificial Analysis Intelligence Index v5 的 max effort 評測中獲得 65 分,登上榜首,領先 Gemini 4 Carbon(high,60 分)與 Claude Opus 5.5(max,59 分)。

    推薦理由:多項基準顯示 Claude Fable 5.2 的優勢集中在科學、知識與程式評測,AI 助理知識工作和終端程式仍與既有模型接近。

  3. aihot77

    Claude Mythos 5.2 預測基因治療載體 AAV 衣殼結構

    Claude Mythos 5.2 預測出用於遞送基因治療的 AAV 蛋白質衣殼完整結構。 方法:模型編寫程式碼,對相鄰五鏈分組執行開源折疊模型,再利用衣殼對稱性拼合全部 60 條鏈。 結果:在 AAV2 上,預測結構與實驗結構的誤差約為一個原子寬度。

    推薦理由:從相鄰五鏈分組預測到利用衣殼對稱性拼合,原文交代了方法與 AAV2 的誤差結果,可供理解模型在結構生物學任務中的表現。

  4. Dev.to Top Tech91

    Claude Fable 5.2 基準測試、價格與首批獨立測試結果

    Claude Fable 5.2 已推出,文章整理 Anthropic 公佈的基準測試、Vals AI 的首批獨立測試,以及價格與開發者回饋。\n\n- Anthropic 測試:FrontierCode 2.0 得分 49.1%,FrontierSWE v2 得分 69.9%;文章指出,部分基準由其他模型領先。

    推薦理由:文章並列 Anthropic 與 Vals AI 的測試結果,也呈現不同工作專案的排名落差,可用來理解排行榜表現與實際任務評估之間的差異。

  5. ARC Prize72

    Claude Fable 5.2 在 ARC-AGI-3 標準測試架構取得新高分,並公佈 ARC-AGI-1、2、3 的評測結果。 ARC-AGI-3:provider adapter harness 為 97.7%、$18.6K;standard harness 為 81.2%、$21.9K。 ARC-AGI-2:93.8%,每題 $0.98。 ARC-AGI-1:98.5%,每題 $0.36。 原文連結

    推薦理由:同一模型在兩種 ARC-AGI-3 測試架構下的分數與成本不同,並列 ARC-AGI-1、2 的結果,可看出評測架構和任務成本如何影響比較。

  6. LMSYS Org Blog69

    DeepSeek-V4.1-Flash 如何在 H200 上加快分離式 Prefill 與 Decode

    處理長提示詞時,DeepSeek-V4.1-Flash 的 Prefill 會排隊,等待時間也拉長。Ant International AI Infra Team 在 8 張 H200 上用 SGLang 分開處理提示詞和逐字生成,並調整索引器計分、Prefill 分塊與 MoE 資料傳送,也讓有限重播能搭配 CP 和 DSpark。合併設定的 8 個測試案例中,E2E 延遲降低約 15%–64%,但每個輸出 token 的時間增加 3%–52%;GSM8K 準確率則從 96.74% 降到 95.38%。文章提醒,整體結果包含多項改動,不能把改善歸功於單一調整;有限重播也會省略部分區域性運算,可能影響答案品質。

    推薦理由:文中把各項加速分開測量,也列出合併設定的延遲與 GSM8K 變化,呈現輸入處理變快和逐字生成變慢之間的取捨。

11月9日週一