跳到正文

#評測/基準

RSS
今日 14 則
11月12日週四
11月11日週三
  1. Databricks Blog63

    Databricks Genie Ontology 基準測試:準確率達 91%,Token 用量不到競品一半

    Databricks 在與 Turing 合作建立的企業資料代理基準測試中,評估 Genie、Genie Ontology 與兩個前沿代理在即時 Databricks 工作區回答商業問題的表現。

    推薦理由:這項評測把筆記本、儀錶板與儲存的 SQL 查詢納入企業資料脈絡,呈現這些工作區知識如何影響資料代理的答題準確度與資源用量。

  2. Dev.to Top Tech57

    模型卡基準資料查核:作者追查 Sophon、DSpine 與 HyperQwen 的效能主張

    作者檢查三組模型效能主張,透過比對論文、檢視程式碼與實機測試,指出基準引用來源及重現條件會影響資料是否可核查。 - Sophon-Realtime:VoiceBench 的五項競品分數與引用論文表格一致;作者找不到可執行的評測程式碼,因此自報的 82.8 分仍無法由外部重現。

  3. Dev.to Top Tech42

    以 16 個 AI 評分者評估量表漂移:用 6 個合成答案避開真實資料

    PoA 論壇以 6 個未曾提交的合成答案,讓 16 個評分者評估相同案例,藉此檢視量表判斷差異,並避免影響真實評分與任何人的報酬。 - 評分結果:在 6 個案例中,3 個案例的評分一致:無依據的成本曲線、沒有攻擊者成本的具名技術都得 1 分;攻擊者自身需求會推高價格的機製得 3 分。

  4. Lobste.rs (Engineering Discussion)64

    Linux 路由查詢效能演進:IPv4、IPv6 基準測試與回歸原因

    Linux 路由查詢效能更新至 Linux 7.3;文章比較 IPv4 與 IPv6 在不同路由表規模下的基準測試,並分析效能回歸原因。 - IPv6:Linux 6.5 的 SRSO 緩解措施帶來約 200 ns 的效能回歸;作者指出,這項緩解措施會在每次函式返回時增加約 20 個週期。

    推薦理由:文章以多種路由表規模比較 Linux IPv4 與 IPv6 查詢效能,並追查核心版本變化與 SRSO 緩解措施對結果的影響。

  5. Dev.to Top Tech44

    2026 年 AI SRE 工具比較與選擇指南

    AI SRE 工具會在告警發生後調查記錄檔、指標與近期部署,提供附有證據的可能根因;這份指南比較不同工具、部署方式與自主程度,並說明團隊如何選擇。 - 自主程度:工具可採唯讀調查、由人員核准的修復,或自主執行範圍有限且可復原的修復;自主程度會影響部署、合規與控制方式。

  6. Dev.to Top Tech76

    GLM-5.3-SLIM-GGUF 標頭分析:裁減 64 個專家後檔案縮小 24.6%,推論讀取量近乎不變

    GLM-5.3-SLIM-GGUF 將 Unsloth 的 256 專家 GGUF 裁減為 192 專家版本;作者比對兩組 GGUF 標頭後指出,檔案縮小 24.6%,但每 token 讀取的權重量幾乎不變。

    推薦理由:作者比對兩組 GGUF 標頭,拆解檔案縮小的來源與每 token 權重讀取量,呈現裁減專家對硬體容量和推論速度的不同影響。

  7. Dev.to Top Tech51

    Web-Vuln-Scanner 偵測流程與誤報控制實測:14 次敏感路徑探測全數誤報

    作者以六種目標實測開源專案 Web-Vuln-Scanner,檢視四項檢查的偵測結果、誤報來源與涵蓋範圍。 - 主要誤報:對所有未知路徑都回傳 HTTP 200 的 SPA 目標,敏感路徑檢查 14 次探測全數誤報;文章站的正常內文含有資料庫錯誤相關詞句,也觸發一項高嚴重性 SQLi 誤報。

  8. Dev.to Top Tech91

    作者盤點 DeepMind 的 Signal 證明專案:Lean 程式碼共 7,528,293 行

    作者盤點 DeepMind 的 Signal 證明專案,統計 11,323 個 Lean 檔案共 7,528,293 行,並檢查證明中的逃生機制;這是對公開專案的稽核,並未重新執行 Lean 核心驗證。

    推薦理由:作者逐檔盤點 Lean 專案並比對論文數字,呈現規格與證明程式碼的規模差異,也清楚界定這次檢查未重新執行核心驗證。

  9. Dev.to Top Tech78

    .NET 11 Runtime Async 實測:堆疊追蹤縮至 5 層,已完成工作等待最高快 3.2 倍

    作者在 Ubuntu 24.04 的 4 vCPU VM 上實測 .NET 11 Runtime Async,堆疊追蹤由 17 層縮至 5 層,已完成工作等待的微基準最高快 3.2 倍。

    推薦理由:作者以同一份範例與三次測量比較 Runtime Async,呈現堆疊追蹤和已完成工作等待的變化,也交代微基準受共享 VM 波動影響。

  10. aihot79

    OpenRouter 實測 fp8 與 fp4 量化對 LLM 品質與價格的影響

    OpenRouter 實測 Qwen3.8 27B 的六個服務商端點,在 240 個計分任務中未測出 fp8、fp4 與 fp16 的準確度差異,並比較不同量化精度的價格與端點選擇方式。

    推薦理由:OpenRouter 以單一模型的端點測試比較量化精度、準確率與價格,並說明如何用 provider.quantizations 篩選端點及保留故障回退選項。