跳到正文

#評測/基準

RSS
今日 14 則
11月12日週四
  1. SemiAnalysis46

    突發訊息:MiniMax M3.1 Flash 推出不到 3 週,NVIDIA 和 @Inferact 已提交首份 vLLM Rubin NVL72 成果,達到最先進水準,且每單位 TCO 的效能比 GB300 NVL72 高 6.5x。 很高興看到 Rubin 已透過與 @vllm_project 合作,逐漸成熟並完成更多整合! 這份 Rubin 成果採用 CUDA 13.4 全新的 locality-aware MoE 功能,可降低延遲,並將實際 HBM 頻寬提高約 1.2x。

  2. Dev.to Top Tech84

    AWS 官方模擬器與 LocalStack 比較:160 個 Rust crates、逐版保真度分數與預設遙測

    AWS Emulator 是 AWS 推出的本機 AWS API 模擬器;文章比較它與 LocalStack 的架構、保真度揭露、成本與治理方式,並整理團隊評估匯入時可參考的條件。

    推薦理由:文章比較 AWS Emulator 與 LocalStack 的執行方式、保真度揭露和治理差異,並整理依服務缺口與遙測政策評估匯入的線索。

  3. OpenRouter Announcements73

    OpenRouter 教你如何評測 LLM,並比較 10 個模型的合成任務結果

    OpenRouter 說明如何用符合應用輸入與輸出格式的任務評測 LLM,並比較正確率、費用與請求時間;文中也公佈 10 個模型在 60 項合成任務上的結果。

    推薦理由:文章以可重現的合成任務示範如何同時檢查正確率、輸出格式、成本與回應時間,也揭示公開排名與特定工作負載結果可能不一致。

  4. The New Stack78

    Anthropic Claude Fable 5.2 用一次提示詞打造射擊遊戲,耗時 8 小時、估計花費 $550

    Anthropic 工程師 Felix Rieseberg 讓 Claude Fable 5.2 根據一次提示詞連續執行 8 小時,打造出可在瀏覽器遊玩的第一人稱射擊遊戲 Saltline,估計 API 成本為 $550。

    推薦理由:Saltline 的單次提示詞實驗與其他專案案例,呈現長時間執行代理程式的 token 用量、API 成本及人工介入情況,便於衡量實作投入。

  5. Dev.to Top Tech76

    Nod 評測:n8n Labs 的瀏覽器AI 助理首日體驗與實際限制

    Nod 是 n8n Labs 推出的桌面瀏覽器AI 助理,作者從首次設定與實際使用經驗,檢視它執行網頁任務的能力和限制。 - 基準表現:在模擬帳號與網站中,Nod 完成 226 項任務、各執行三次,任務完成率為 98%;678 次執行中未出現不安全操作,LongMemEval 記憶回憶率為 93.2%。

    推薦理由:文章將模擬環境中的任務完成率,與首次設定、長時間執行及資料傳輸等實際限制並列,呈現評估個人瀏覽器AI 助理的落差。

  6. Epoch AI Gradient Updates80

    Epoch AI 11 月 11 日簡報整理模型能力、資安研究與全球 AI 算力

    Epoch AI 的 11 月 11 日簡報彙整模型能力、資安、全球算力與生物學研究等多項新分析。 - 資安測試:研究者在離線沙盒中測試 GLM 5.3,模型無需人工輸入,便為 Firefox 最近的六個版本建立可讀取訪客電腦檔案並傳送給攻擊者的網頁;每個版本約花費 $1,000。

    推薦理由:受控沙盒測試呈現開放權重模型利用修補時差攻擊 Firefox 的方式與成本,並指出此類風險可能擴及其他軟體。