llama.cpp b12293 修正 CPU Flash Attention 累加精度與 F16 路徑效能
llama.cpp b12293 調整 CPU 的 Flash Attention 單區塊核心,讓所有 V 型別都以 F32 累加,避免長上下文下 F16 累加值超過 65504 後產生 inf,並在後續 token 引發 NaN。
llama.cpp b12293 調整 CPU 的 Flash Attention 單區塊核心,讓所有 V 型別都以 F32 累加,避免長上下文下 F16 累加值超過 65504 後產生 inf,並在後續 token 引發 NaN。
llama.cpp 在 b12285 加入 CUDA FlashAttention 對 head size 40 與 72 的 MMA 支援,讓這兩種尺寸可使用 Tensor Core dispatch,不再回退至 tile kernel。
vLLM 說明如何以 Encoder/Prefill/Decode(EPD)分離多模態推論流程,並整理中繼資料轉送、編碼器執行、嵌入傳輸、快取與路由的工程進展。
推薦理由:文章整理 vLLM EPD 的媒體中繼資料、遠端嵌入傳輸與跨編碼器快取,並以不同工作負載的測試資料呈現效能差異。
PyTorch 在 CONTRIBUTING.md 補充 GitHub 原生 PR 堆疊底部分支合併後的操作方式,並在 CLAUDE.md(及其符號連結 AGENTS.md)加入指引,避免已合併的 PR 被 gh stack 重新提交、變基或移出堆疊。
想先試用 Browser Use 1.0.2 的人,要自己安裝候選版:pip install 'browser-use==1.0.2rc1';一般安裝目前仍會拿到 1.0.1。這個版本讓 --cli-mcp 在 Chrome 遠端除錯關閉時改用自己的 Chromium,也會告訴模型怎麼取得你的 Chrome。若網頁被 JavaScript 對話方塊卡住,操作會更快回報清楚錯誤,減少一直等待的情況。
llama.cpp 在 b12263 調整 CUDA VMM 記憶體池的預留策略:預留失敗時會將預留大小減半後重試,並在合併記憶體的 GPU 上將預留量降至 8 GB,以處理 CUDA 記憶體不足錯誤。
llama.cpp 的 b12251 變更新增 SYCL 裝置端 MoE 排程器,並調整圖形執行、權重重排與支援條件,以改善 MoE 計算路徑。
使用 browser-use 1.0.0 時,有些情況會讓人卡住,例如伺服器沒有 Chrome 就無法用 MCP,或雲端瀏覽器可能繞過網站限制。1.0.1 改成在伺服器、容器和 CI 環境中第一次使用時,自行安裝並啟動 Chromium;如果環境根本跑不了瀏覽器,會清楚說明錯誤。它也修正 Windows 輸出亂碼、逾時後等不到回答等問題,並讓每次執行都使用各自的工作空間。
PyTorch 修正 torch.multinomial 的類別數限制,讓 CPU 與 CUDA 在多種抽樣路徑中支援超過 2^24 個類別。
PyTorch 發布 viable/strict/1794284545,重新納入將 CPU flash attention 輸出分解的變更([inductor][cpu] Reland: Decompose output-only CPU flash attention)。 發布資訊:標籤由 helloguo 建立,附有 ZIP 與 tar.gz 原始碼封存檔。
browser-use 發布 1.0.0rc4,以新的 Python REPL 與 browser-harness 取代原有引擎,並保留常用的 0.x 介面。
推薦理由:更新說明列出與 0.x 的操作差異,並以同一組任務比較成本與耗時,呈現升級時可評估的相容性與效能資訊。
本集聚焦 GitHub Project Rubicon、Discord 採用 Rust/GPUI 以及 Asahi Linux 授權轉 GPL 的三大變動,探討其對效能與開源社群的深遠影響。
PG Observability Map 1.0.0 於 2026 年 11 月正式發布,提供一個互動式網頁工具,讓使用者能直觀探索 PostgreSQL 的可觀測性指標與內部診斷檢視。
CrewAI 這次更新加入兩項功能:AI 助理可以透過 crewai-files 讀取試算表,也能建立並載入獨立的 AI 助理專案。另外,更新也調整了 RagTool 的說明,讓 Mintlify 更容易解析。
Copilot 透過 Agentic 工程流程,協助開發者在規劃、實作、審查與觀測四個階段提升效率。 - 規劃:利用 Copilot 在 Slack/Teams 整合多工具資訊,產出可執行的 Issue 與需求。
Claude Code 現在可在 Amazon Bedrock AgentCore 上以遠端代理執行,每個任務在隔離的 microVM 內完成,並以 GitHub Pull Request 回饋。
推薦理由:此範例示範如何將 Claude Code 透過 Bedrock AgentCore 執行任務,並以 Pull Request 回饋,協助團隊於雲端安全環境改進。
REINFORCE Zero 是一種將核對齊與無截斷重要性抽樣結合的非同步 RL 方案,能在保持高品質的同時大幅提升訓練吞吐量。 - 核心機制:先將 rollout 與 learner 的 kernel 進行對齊,消除 kernel mismatch;再使用無截斷 IS 校正 weight lag,避免截斷帶來的偏差。
推薦理由:本文提出 REINFORCE Zero 通過核對齊與無截斷 IS 實現非同步 RL 穩定性提升,讀者可參考其方法最佳化大規模代理訓練,並評估其在多模型上的適用性。
Unsloth AI v0.1.916-beta 釋出多項效能升級,兩張 GPU 影像生成速度提升至 2 倍,並最佳化長聊天輸入、搜尋與瀏覽器浮動功能。 - 影像/影片 兩張 NVIDIA GPU 可並行處理 SDXL、Qwen-Image、Wan2.2 5B 等模型,速度提升 1.5至1.8 倍;LTX 2.5 影片編碼 GPU 化,速度提升約 10%。
推薦理由:Unsloth AI v0.1.916-beta 釋出多項效能升級,兩張 GPU 影像生成速度翻倍,並最佳化長聊天輸入、搜尋與瀏覽器浮動功能,為開發者即時調整工作流程與資源管理提供實務參考。
Codex Rust 0.167.0 版正式釋出,帶來代理指令中心、跨後端會話切換、影像預覽等新功能。 - 代理指令中心:可在嵌入式會話中啟用,並支援多後端切換與會話記錄。
summary_zh: PyTorch Inductor 在嚴格模式下更新,確保 float64 copysign 的符號位正確保留。 - 功能改進:在 Triton kernel 程式碼生成中覆寫 strict CUDA float64 copysign,直接按位複製符號位,避免 libdevice 造成的 NaN 符號錯誤與 quieting。
PyTorch 在 ciflow/trunk/203697 版本中修復了兩個影響編譯自動微分的缺陷,解除 XPU 上 TestNN 測試失敗。 - 修復內容:針對 undefined gradient 與 sparse gradient 的兩個錯誤,確保在 CPU 和 XPU 上都能正確計算梯度。
GitHub 於 GitHub Universe 宣佈全新 Git 儲存架構,能處理每秒數千筆寫入,並以低延遲回應讀取請求,為代理式開發提供可擴充套件基礎。 - 寫入吞吐量:可支援 5,000 個併發代理同時對同一倉庫寫入,每秒 7,200 次推送。
Prometheus 3.16.0 正式發布,帶來多項功能升級與效能最佳化。 - PromQL 新功能:新增 integral() 取範圍向量積分、實驗性查詢成本估算與執行限制、穩定化 smoothed/anchored selector。
Kinference 推出開源推理控制平面,支援 vLLM 與 Kubernetes。 - 核心功能:提供 token 速率限制、租戶使用與成本追蹤、智慧負載均衡、推理政策,並具備 KV‑cache 感知的負載均衡。
Anthropic MCP 伺服器套件 v2.3.0 於 2026-11-04 正式發布,整合多個子模組並加入多項功能與修正。
PyTorch 釋出將 weight_norm 遷移至 Metal 的更新,提升多種模型在 MPS 上的執行速度。 - 統計:速度提升最小 0.87 倍,平均 1.85 倍,最高 4.67 倍。
Agile Deliberation 是 Google Research 提出的框架,透過 AI 與人類的雙向對話,協助使用者在主觀概念上迭代定義,並直接更新模型。
Deep Insight 是一套開源多代理資料分析解決方案,示範瞭如何將四層上下文工程應用於實際程式碼。 - 四層結構: 1️⃣ 架構層 – 透過多代理隔離,確保每位代理只保留必要資訊。
Vercel 與 Truffle Security 合作,擴大 token 掃描範圍至 GitHub、GitLab、Docker、npm、PyPI、Hugging Face、Android APK、Firefox Add-ons 等公開來源,並自動撤銷洩露憑證。
summary_zh: Pydantic AI 發布 v1.107.10 版,修復多項高/中等嚴重度安全漏洞。 - GHSA-m5vj-8mcw-82qx (高):web_fetch_tool 重新縮排 JSON 造成深度巢狀檔案膨脹,導致記憶體耗盡;受影響者:能控制工具抓取 URL 的使用者。
Pydantic AI v2.66.0 釋出,主要修補多項高危漏洞並加入新功能。 - 安全修補:修正 10+ GHSA 漏洞,涵蓋網路抓取、金鑰處理、雲端元資料、OpenTelemetry 等,降低記憶體耗用與授權洩漏風險。
Ray 2.59.1 釋出,修補 eMudhra 中介 CA 失效、CVE-2026-111064/111066 與 GHSA-2g87-pp6c-29x5 等安全漏洞,並最佳化資料與服務部署。
Ray 2.60.0 更新 Ray Data、Ray Serve、Ray Core 等元件,調整資料處理與服務部署行為,並加入外部資料反序列化防護。 - Ray Data:shuffle v2 成為 joins 與 aggregations 的預設策略;Parquet 讀取改依 row-group 中繼資料安排讀取任務。
推薦理由:Ray 2.60.0 同步調整資料讀取、Serve 滾動更新與外部資料反序列化防護,呈現分散式工作負載在效能、服務容量和安全上的具體變更。
Vercel Security Review 是 Vercel Agent 的新功能,於 2026‑11‑02 公開測試版發布。它會在每次推送至 GitHub 連結的倉庫時即時掃描差異,發現漏洞並以 PR 評論、Security Dashboard 及 CLI 方式呈現。
2026年11月的安全事件聚焦於 Binance 大額盜取、PHP2Shell、GitLab RCE 等,本文提供可落地的防護清單,協助企業在 AI 速攻環境中快速提升安全防禦。
Vercel CI 現可在未連結 Vercel 專案的 GitHub 倉庫執行,省去建立空專案的步驟。 - 啟用方式:安裝 Vercel GitHub App、將 GitHub 帳號連結至 Vercel、授予倉庫寫/管理許可權,並於倉庫 clone 目錄執行 vercel ci enable(可加 --scope <team>)。
llama.cpp 新增 NCCL 支援多節點張量並行,提升多機環境下的分散式訓練效能。 - 新增功能:多節點張量並行,使用 NCCL。 - 平臺支援:CUDA、ROCm、OpenVINO 等多平臺,含 macOS、Linux、Windows、Android。 - 內部更新:重構通訊介面,改進 per‑rank 通訊,並調整 NCCL 設定。
llama.cpp b12051 版在 Vulkan 支援上新增 tensor-parallel all-reduce 通訊,並修正 3+ GPU 時的 race condition。
IXP Manager 在 7.3.0 之前的版本存在授權缺失,已認證使用者可未授權存取他人 API‑key。 - 影響範圍:IXP Manager 7.3.0 之前的任何版本,允許使用者存取或修改非自有的 API‑key。