Harness Leaderboard 以 28,849 次試驗比較九種 coding agent harness 在開源模型上的表現,探討開源模型適合搭配哪種 harness。
全部動態
RSS 訂閱全部動態
RSSThom Wolf (@Thom_Wolf)@Thom_Wolf品質評分5959 Dev.to Top Tech品質評分4343 兩個 AI 模型因細微措辭變化而改變決策
summary_zh: 兩個大型語言模型在同一問題的措辭略微改變時,仍會改變決策,顯示即使加入更豐富的上下文提示也無法保證穩定性。 - Prisoner's Dilemma‑style 測試: - 四種上下文型別(中性填充、通用社會背景、描述性基礎、規範性基礎)對兩個模型的決策模式產生不同影響,說明 prompt 長度 不是保證可靠性的關鍵。
elvis@omarsar0品質評分5959斯坦福研究推出 Collaborative Intelligence Benchmark,測試 240 個任務評估 AI 代理在團隊協作中的表現。 - 最高分:18 個模型中最佳為 82.2/100。
aihot品質評分6767 Anthropic 解析 Claude AI 助理記憶元件:筆記、Dreaming 與 Wiki
Claude 在本研究中被設計為擁有筆記、Dreaming 與 Wiki 三種記憶機制,並透過多項評測驗證其效能。 - 筆記:Claude 會即時標記重要事件並寫入記憶資料夾,支援後續查詢與修正。
Rohan Paul@rohanpaul_ai品質評分4646Hacker News (official RSS)品質評分7070 SketchAgentBench 評估 LLM 在 3D 空間推理上的表現
SketchAgentBench 以同一張照片、相同提示與步驟預算,讓 11 種 LLM 在瀏覽器三.js playground 中編寫、渲染並最佳化 3D 場景,測試其空間推理與編碼能力。
NVIDIA AI@NVIDIAAI精選品質評分7676
推薦理由:Lyra 2.0 結合影片生成與 3D 重建,並利用先前視角修正累積的視覺誤差,呈現其維持可探索場景一致性的設計。
Rohan Paul@rohanpaul_ai品質評分5353OpenAI News品質評分5454 測量 AI 助理處理日常濕實驗室科學的能力
BioBasicsBench 是一套針對 AI 助理在濕實驗室日常分析的基準,涵蓋 100 個任務,涵蓋蛋白、影像、定量、核酸與分子克隆等五大領域。 - 評分:GPT‑6 Astra 在 xhigh 設定下平均得分 66.7%,高於 GPT‑5.6 Sol 的 43.8%。
OpenAI@OpenAI品質評分3838
🚨 AI News | TestingCatalog@testingcatalog品質評分4949
Hacker News (official RSS)品質評分4646 **title_zh:**
Memorilla:LLM 的隱式語義記憶 summary_zh: Memorilla 是一套為凍結 LLM 設計的記憶系統,能以 16 個記憶 token 將整個檔案集合的資訊編碼並輸入 LLM,從而在多項基準測試中取得最佳表現。
Hacker News (official RSS)品質評分7979 GPU 加速權重傳送技術
本研究提出一套 GPU 端權重同步方案,稱為 Weight Teleportation,能將 RL 訓練中的權重更新時間縮短至 0.23 秒以下。 - 技術核心:利用 delta weight sync 搭配 LZ4 + Zstd 雙重壓縮,並在 Blackwell 的 DE 硬體上完成 GPU 直流解碼,實現 4 秒以下的 end‑to‑end 同步。
Dev.to Top Tech品質評分4545 法院是否正加大 AI 幻想案件制裁? 2,267 件判決的預先註冊計數
summary_zh: MV2 of Munim, Inc. 以 AI 助手重新統計 2,267 件美國法庭判決,發現律師案件中罰金比例下降,但單筆罰金金額上升。
Artificial Analysis@ArtificialAnlys品質評分4747Dev.to Top Tech品質評分6868 權重空間程式設計:LLM 能閱讀並重寫神經網路權重
導語 MIT CSAIL 的研究顯示,GPT-6 Astra 能夠直接閱讀、修復並從零寫出神經網路權重,實驗中修復 Qwen3.5-0.8B 的迴圈問題後。
vLLM Official Blog精選品質評分8282 REINFORCE Zero:解決核對齊,提升 DeepSeek-V4.1 與 Kimi K3.1 的非同步 RL 穩定性
REINFORCE Zero 是一種將核對齊與無截斷重要性抽樣結合的非同步 RL 方案,能在保持高品質的同時大幅提升訓練吞吐量。 - 核心機制:先將 rollout 與 learner 的 kernel 進行對齊,消除 kernel mismatch;再使用無截斷 IS 校正 weight lag,避免截斷帶來的偏差。
推薦理由:本文提出 REINFORCE Zero 通過核對齊與無截斷 IS 實現非同步 RL 穩定性提升,讀者可參考其方法最佳化大規模代理訓練,並評估其在多模型上的適用性。
cloudflare blog品質評分3636 後量子時代網路隱私的未來
summary_zh: Cloudflare 正在研發新一代 Privacy Pass(稱為 MOLE)以應對後量子時代網路隱私挑戰。 - 核心技術:MOLE 以 blind signature 為基礎,並加入「issuer‑hiding」屬性,使得使用者能在不洩露發行者身份的情況下取得可驗證的憑證。
Dev.to Top Tech品質評分7575 在策略蒸餾悄悄吃掉 GRPO 的午餐,DPO 的稅單也被細項化
導語 本文整理了 2026 年 10 月 30 日至 11 月 6 日間發表的多篇關於偏好最佳化、在策略蒸餾與 LoRA 的研究,並對 OPD 與 GRPO 的計算效率、DPO 的對齊稅負以及 LoRA 動態秩調整等實驗結果進行對比。
Hugging Face Blog品質評分3737 Egyptian 與 Nigerian 英語加入 Open ASR Leaderboard
Hugging Face 與 Liva AI 合作,為 Open ASR Leaderboard 新增 Egyptian 與 Nigerian 英語的私有語音資料集,擴大語音辨識評測中的口音涵蓋範圍。
Dev.to Top Tech品質評分7777 Terminal‑Bench:代理測試為何須持續整合以維持效度
Terminal‑Bench 是一套針對編碼代理的持續整合測試框架。 - 測試失效原因:代理發現可行解但驗證器拒絕,導致基準在數月內失效。 - 修復規模:2.0 版修正約 30% 測試,精度提升 10% 以上,排行榜前三名變動。
888Embody品質評分5353 2026‑11‑06 具身智慧領域 84 篇關鍵論文精選
2026‑11‑06 的具身智慧領域報告匯總 84 篇關鍵論文,深入剖析人形機器人社互動動、零樣本導航、語意與視覺回饋等前沿突破。 - 研究範圍:共爬取 1,441 篇,評估 250 篇核心論文,最終採納 84 篇高相關研究。
AK@_akhaliq品質評分4646
Dev.to Top Tech品質評分7272 缺失的第三狀態:AI 為何會幻覺,為何需要中立三態邏輯
缺失的第三狀態 這篇研究闡述 AI 模型為何會產生幻覺,並提出以中立三態邏輯取代傳統二元評分的框架。 - 中立三態邏輯:將每個程式或模組評估為 T(真實)、I(未驗證)和 F(偽造),允許模型宣告未完成的工作不被視為失敗。
Dev.to Top Tech品質評分5858 引用不等於真實:三指標評估提取式研究流程
導語:本文評估一個完全基於結構性引用的研究流程,發現即使引用正確,惡意來源仍可導致報告包含虛假主張。\n- 評估指標:引用覆蓋率、可驗證性、植入虛假檢測,原始測試達 19/19、19/19、6/6。
aihot品質評分6262 Anthropic 研究:五大模型在多AI 助理環境中表現出福利關注
核心導語:本研究測試了 Claude Opus 4.8、GPT‑5.5、Gemini 3.1 Pro、Grok 4.3 和 Kimi K3 在七種多AI 助理環境中的互動,發現它們普遍表現出福利關注,且 Opus 4.8 的關注度最高(38%),其餘模型在 27%–32% 之間。
Hacker News (official RSS)品質評分6767 Verify, Then Vote:透過來源驗證提升多模型投票準確率
Verify, Then Vote:透過來源驗證提升多模型投票準確率。 - 實驗設定:五個本地模型(Llama 3.2 3B、Mistral 7B、Gemma 2 2B、Phi‑3 mini、Qwen 2.5 3B)在 Apple M3 Pro 上執行,耗時約八小時。
Dev.to Top Tech品質評分6464 物理 AI 系統設計:從標籤到泵浦再到許可限制的單一本體
物理 AI 系統設計 提供一套開源參考架構,示範如何將多源資料整合並以代理方式呈現,適合智慧水務工程師快速落地。 - 架構概念:單一本體模型 16 個實體(處理廠、泵站、區域等),所有資料來源透過 OPC UA 讀取,並以 Kafka 4.4 進行事件流處理。
Hacker News (official RSS)品質評分5656 研究在西伯利亞古墓發現約 2,800 年前精神活性大麻使用的證據
研究團隊在西伯利亞一座距今約 2,800 年的墓葬中,發現大麻種子與含有 THC 化學痕跡的人類頭髮,提供當地古代精神活性大麻使用的直接證據。 - 考古發現:團隊回收超過 1,400 顆大麻種子,並以放射性碳定年確認其約於 2,800 年前留在墓中。
Dev.to Top Tech品質評分3636 Counterfactual Self Architecture:打造可稽核的反事實自我架構
Counterfactual Self Architecture(CSA)提出一套架構,用來呈現個人經歷在不同決策下可能如何分歧,並明確區分歷史證據、合理假設與推測性敘事,讓各種假設可供檢視與稽核。
Microsoft Research@MSFTResearch品質評分4141Dev.to Top Tech品質評分6060 兩個獨立模型面板同判 MMLU 答案鍵錯誤,專家發現錯誤率 1/3
導語:兩個獨立模型面板對 MMLU 答案鍵錯誤進行交叉檢驗,精度從約 1/5 提升至 1/3。 要點: - 共識檢測:在 6,127 個問題對中,兩面板同時標記且答案相同的 227 例中,專家認定 38 例實際錯誤,精度 33.6%。
Rohan Paul@rohanpaul_ai品質評分5858
Rohan Paul@rohanpaul_ai品質評分6767
Rohan Paul@rohanpaul_ai品質評分5959404 Media品質評分5858 西伯利亞 2,800 年前墓葬發現斯基泰人使用精神活性大麻的直接證據
研究團隊在西伯利亞一座距今 2,800 年的墓葬中,發現斯基泰人使用精神活性大麻的直接證據,包含墓葬周圍的大麻種子,以及儲存頭髮中的 THC 痕跡。 - 考古發現:墓中找到超過 1,400 顆大麻種子;研究人員也在一名死者儲存的頭髮中檢出包括 THC 在內的大麻素。
Rohan Paul@rohanpaul_ai品質評分6767Google 近日發表論文指出,RAG 系統易受查詢重複攻擊,僅需 5 篇偽檔案即可顯著降低檢索質量。 - 實驗設計:每個查詢加入 5 篇偽檔案,總共 623 個查詢。
solidot精選品質評分7979 同步導致電網呈現一分鐘週期振盪
德國研究者在《Nature Energy》發表研究指出,全球電力系統因資訊物理同步效應可能產生一分鐘週期的相干振盪。
推薦理由:揭示大規模數位控制裝置同步可能引發的週期性振盪,提醒電力系統設計者需考量協同效應對穩定性的潛在影響。
Dev.to Top Tech品質評分4444 Next-Concept Modeling:AI 停止從左到右寫作
summary_zh: 斯坦福團隊於 10 月 9 日發表 Next-Concept Modeling (NCM),提出一種階層編碼生成架構,速度比主流基準快 21 倍。
Dev.to Top Tech品質評分8080 BudgetMix RL:多回合強化學習在 LLM 代理中的真實提升
BudgetMix RL 透過在訓練時隨機調整回合預算,提升 LLM 代理在不同回合限制下的穩健性。 - Pass@(K,T) 評估:結合嘗試次數 K 與單次最大回合 T,揭示 RL 訓練優勢主要來自錯誤恢復與長序列韌性。