PyTorch 調整 CSR SpMM 的 CPU 工作分配,讓稀疏矩陣運算更有效率
CSR SpMM 遇到每列有很多非零值、而且右側資料有很多欄時,每列要做的運算會變多。這次 PyTorch 修改了 CPU 分配工作的方式,讓這類情況可以把資料列切得更細,也把原本每處理一個非零值都要呼叫的程式改成直接累加,少一次額外呼叫。修改也保留非連續資料的支援,並加入浮點數與複數資料的正確性測試,確認右側資料和輸出都不是連續排列時仍能正確運算。
CSR SpMM 遇到每列有很多非零值、而且右側資料有很多欄時,每列要做的運算會變多。這次 PyTorch 修改了 CPU 分配工作的方式,讓這類情況可以把資料列切得更細,也把原本每處理一個非零值都要呼叫的程式改成直接累加,少一次額外呼叫。修改也保留非連續資料的支援,並加入浮點數與複數資料的正確性測試,確認右側資料和輸出都不是連續排列時仍能正確運算。
推薦理由:llama.cpp v1 主打讓 AI 模型直接在手機、筆電和工作站執行,文中也說明這種做法如何減少資料外傳,並讓使用者掌控自己的資料。
模型要在不同執行環境使用,匯出、分享和重新載入往往得處理不同流程。Hugging Face Transformers v5.23.0 把這些步驟整合到 ExportedModel,支援 Dynamo、ONNX Runtime、OpenVINO 和 ExecuTorch;匯出的模型可以推送到 Hub,再由對應環境載入。這版也加入多個模型支援,修正視覺、音訊、快取和分散式運算問題。效能比較顯示,在列出的測試中,ONNX Runtime 和 OpenVINO 都比 eager PyTorch 快,但實際差異會依硬體和設定而變。
推薦理由:這次更新把模型匯出、分享與載入整合成相近的操作方式,也列出不同執行環境的速度比較,可看出部署流程有哪些變化。
使用 llama.cpp 和 ggml 的開發者越來越多,程式庫介面一旦改變,可能影響依賴它們的其他軟體。ggml-org 發布 llama.cpp 與 ggml 的 v1.0.0,並說明往後若公開 API 或 ABI 出現不相容變更,主版本號就會增加,讓開發者更容易看出升級可能帶來的影響。文章也列出主版本號、小版本號與修補版本各自適用的變更型別,並說明目前支援超過 150 種模型架構變體。
推薦理由:llama.cpp 與 ggml 升至 v1.0.0 後,公開 API 的相容性變更會反映在主版本號,方便依賴這些程式庫的開發者掌握升級影響。
大型模型的計算圖很大時,ONNX Runtime 建立工作階段可能要等很久。1.32.0 改善了記憶體安排和計算圖整理方式,讓一個有 10 萬個節點、內容以常數為主的模型,啟動時間從超過 10 分鐘縮短到約 5 秒。新版也能把量化 MoE 模型的工作分配給 CPU 和 GPU,並加入 ONNX opset 28 支援。使用者升級時要留意,舊的 ACL 執行提供者已移除;CUDA 和 WebGPU 外掛也要搭配相符版本,以免運作錯誤或當機。
推薦理由:新版把大型計算圖的啟動時間從超過 10 分鐘降到約 5 秒,也加入 CPU 與 GPU 混合處理量化 MoE 模型的功能,能看出它在大型模型部署上的改進。
llama.cpp b12345 為 Hexagon 新增 Q5_0、Q5_1 支援,並加入專用的 Q5_0 核心。 發布專案:版本列出 macOS、iOS、Linux、Android、Windows 與 openEuler 的建置專案,涵蓋 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 及 Snapdragon 等支援選項。
PyTorch Inductor 調整 MPS 後端,讓外部範本核心能透過 emit_kernel_override 輸出自身的 Python 原始碼,並避免不安全的核心融合造成錯誤程式碼或排程失敗。
llama.cpp 的 Vulkan 後端加入 Intel FA prefill shader,並調整 shader 與主機端程式,以支援更多輸入形狀並修正精度問題。
llama.cpp b12329 將 NVFP4 權重縮放融合至 CUDA MMQ 的寫回階段,並把矩陣乘法與縮放整合,以最佳化 CUDA 預填充;此版本也加入融合測試並調整相關檢查。更新另列出 macOS、iOS、Linux、Android、Windows 與 openEuler 的建置驗證專案,涵蓋 CPU、CUDA、Vulkan 等平臺與後端。
vLLM 在 Inkling 2 Small 推出首日即提供支援,涵蓋模型服務、LoRA 與 DSpark 推測解碼,並針對推論效能進行最佳化。
OpenAI Codex 0.168.0 新增模型供應商瀏覽與新對話預設選擇,並加入可調整的側邊對話、錄音附件及動畫 GIF 生成等功能。 - 新增功能:可在 TUI 中檢視模型供應商並設定新對話的預設供應商;側邊對話窗格可調整大小或放大。
推薦理由:本次更新涵蓋模型供應商設定、側邊對話、錄音附件與動畫 GIF 生成功能,並修正多項 TUI 與 Windows MCP 行為,呈現 Codex 的近期使用變化。
uv 發布 0.13.8,新增 CPython 3.16.0a2,並更新多個受管理的 Python 建置版本與 wheel 變體解析功能。
PyTorch 宣佈 Helion 在 Triton 後端加入編譯期啟發式設定,分析核心的 IR 與資料流,自動選擇設定,免去自動調校即可提升多組測試的效能。
推薦理由:Helion 在 H100 與 B200 上預設啟用編譯期啟發式設定;文中多組基準比較呈現其效能與完整自動調校之間的差距。
訓練 AI 助理時,模型會在沙盒裡反覆執行指令和測試;沙盒跑得慢,整個訓練也會跟著等。RadixArk 團隊用 Miles 在 NVIDIA Vera CPU 上執行所有沙盒,並和 AMD Turin 比較。在相同設定下,Turin 上的每個訓練回合平均多花 12% 時間;作者也觀察到,回合較短能讓訓練資料更新得更快,減少 GPU 記憶體閒置,以及整組回合等最慢一個完成的時間。文中的結果來自作者測試的任務與環境。
Node.js 發布 27.0.0-alpha.0.1.0 Alpha 版,新增子程式逾時狀態、支援 CSR 的 X.509 憑證生成,以及合併相同的並行 DNS 查詢。
esp32-intake 以 MiniCPM-V 4.7 35B-A3B辨識餐點照片並估算熱量,串接 iOS App 與圓形 ESP32 顯示器,呈現每日攝取進度。
EUROPA consortium 說明如何運用 PyTorch 與 TorchTitan,在 JUPITER 超級電腦上將約 1T 引數的 MoE 預訓練吞吐量提升至每張 GPU 約 1,300 tokens/s。
推薦理由:文章拆解了 PyTorch 與 TorchTitan 在共享超級電腦上的多項訓練調校,並以吞吐量變化呈現通訊、記憶體與計算重疊的影響。
PyTorch 標籤 viable/strict/1794475282 收錄 ATen 對混合資料型別原地 _foreach_add_ 操作的融合 CUDA 核心。 標籤資訊:由 bobrenjc93 標記,附有原始碼 ZIP 與 tar.gz 下載檔。
PyTorch 更新 XPU 靜態啟動器,讓 loadKernel 在載入時拒絕請求共享區域記憶體(SLM)超過裝置 local_mem_size 的核心,並引發 torch.OutOfMemoryError,使 autotune 能捨棄該設定。
Pydantic AI v2.68.0 新增多項AI 助理與耐久執行功能,並修正模型回退、工具呼叫及多個供應商整合問題。 - 工作流程與委派:新增在執行期間請求使用者輸入與核准的 RequestInput,並支援以 Temporal 和 DBOS 子工作流程執行耐久委派。
llama.cpp 在 b12300 移除 build_delta_net_chunking 與 build_delta_net_autoregressive,並一律使用 fused gated delta net,讓 graph_max_nodes 不再受 ubatch 大小影響。 其他變更:移除 fused GDN probes 與 fused node tags。
llama.cpp b12293 調整 CPU 的 Flash Attention 單區塊核心,讓所有 V 型別都以 F32 累加,避免長上下文下 F16 累加值超過 65504 後產生 inf,並在後續 token 引發 NaN。
llama.cpp b12291 啟用 Vulkan 搭配 coopmat2 的 KV 反量化最佳化,並以查詢 token 數乘上 GQA 比例作為啟用判斷的 heuristic。
llama.cpp b12287 為少列數、長 K 維度且批次較小的 BF16 矩陣加入 MMVF 核心選擇條件,以減少 CUDA GPU 的運算單元閒置。
推薦理由:整合說明涵蓋輸入資料、動作輸出與服務方式,呈現 Praxis-1 接入 vLLM-Omni 的實作範圍。
Rust 專案公佈 Google Summer of Code(GSoC)2026 成果,參與的 13 個專案全數成功並通過最終評估;這是 Rust 專案第三度參與 GSoC。
llama.cpp b12284 加入 CUDA 的 OCP FP8 支援,並調整 FP8 相關核心與轉換路徑。
使用 MCP 操作瀏覽器時,遇到遠端除錯未開啟或頁面載入很慢,可能會卡住。browser-use 1.0.2 讓命令列和 MCP 可以改用自己的 Chromium,並讓 CDP 呼叫等待 20 秒;如果頁面被 JavaScript 對話方塊卡住,則會快速顯示處理提示。MCP 的瀏覽器程式碼也能在 Windows 用 UTF-8 讀寫檔案,並新增回報問題的方式,送出前會先清理文字。
推薦理由:這次更新補上 MCP 使用自有 Chromium、慢頁面等待與 JavaScript 對話方塊卡住時的處理方式,能看出瀏覽器自動化流程如何回報錯誤並收集意見。
OpenClaw 正式發布 v2026.11.3 修正版,包含 56 個 PR 與 36 位貢獻者的更新內容。 主要修復:修正中斷更新的復原機制、減少慢速儲存裝置的備份逾時問題,以及修復憑證處理機制。
llama.cpp 在 b12274 加入 FP8 KV cache 支援,並新增 scaled FP8 KV cache 測試。 相容性與測試:此版本調整 cache scale 對應與命名,支援 BF16 scales,並更新 KV cache 測試;也為使用 FP8 的 Gemma 4 Assistant 儲存及讀取 scale 指標。
PyTorch 推出 ExecuTorch WebGPU 後,模型可透過 torch.export 匯出為 .pte 檔案,並在支援 WebGPU 的瀏覽器中使用 GPU 執行。
推薦理由:ExecuTorch WebGPU 將模型匯出與瀏覽器執行串成同一流程,並列出已支援的模型與裝置端微調能力,呈現其在地端部署的使用方式。
GPU 執行模型時,工作被拆成許多小步驟,步驟之間的等待會讓部分晶片閒著。LMSYS 團隊為 Muse Spark Open 寫了一種叫 megakernel 的大型 GPU 程式,把每一層的多項工作合在一起,讓不同部分能趁空檔先處理下一件事。在 Blackwell GPU 上,單次請求的解碼速度從每秒 517 個 token 提升到 1,109 個 token;團隊也把草稿模型的執行步驟從 175 次減到 8 次。這種做法目前只支援搭配猜測解碼的單一請求,團隊接下來打算擴充到多個請求。
推薦理由:文章拆解 megakernel 如何合併 GPU 工作、減少等待,並以 Muse Spark Open 的實測展示效能變化,能看出低延遲推論的工程取捨。
推薦理由:CUDA Tile 將分開計算多個專案的 PyTorch 實作融合為單一 tiled kernel,並讓矩陣保留在暫存器中,呈現其核心程式設計方式。
llama.cpp b12247 修正 MoltenVK 上的越界讀取與寫入,並修復相關測試的 sentinel 不匹配錯誤;另調整 norm_f32、l2_norm_f32 和 sum_rows_f32 管線的 disable_robustness 設定。
PyTorch 將 half 與 bfloat16 輸入的 multinomial 抽樣內部計算改用 float,修正抽樣偏斜、CUDA 裝置端斷言失敗與 CDF 精度不足問題。
PyTorch DCP 修正 Hugging Face safetensors 整併流程,略過對映中沒有實際儲存張量的專案,避免產生含空白 dtype 的無效標頭,導致下游載入器拒絕檔案。
llama.cpp b12246 調整 Qualcomm Adreno 上大型注意力頭的 Vulkan scalar flash attention,每個 workgroup 最多使用 8 列,以避免暫存器溢位造成速度大幅下降及測試逾時。
PyTorch 修正 torch.multinomial 的類別數限制,讓 CPU 與 CUDA 在多種抽樣路徑中支援超過 2^24 個類別。
PyTorch 發布 viable/strict/1794284545,重新納入將 CPU flash attention 輸出分解的變更([inductor][cpu] Reland: Decompose output-only CPU flash attention)。 發布資訊:標籤由 helloguo 建立,附有 ZIP 與 tar.gz 原始碼封存檔。