llama.cpp 發布 b12426,新增 Higgs v3 與 VibeVoice-ASR 支援
llama.cpp 的 b12426 讓 mtmd 支援 Higgs v3 和 VibeVoice-ASR,並加入讀取媒體資訊的工具。這次更新也提供多種系統與硬體環境的版本,例如 macOS、Linux、Android 和 Windows,可搭配 CPU、GPU 或 NPU 使用;想用語音辨識功能的人,可以留意新增的 VibeVoice-ASR 支援。
llama.cpp 的 b12426 讓 mtmd 支援 Higgs v3 和 VibeVoice-ASR,並加入讀取媒體資訊的工具。這次更新也提供多種系統與硬體環境的版本,例如 macOS、Linux、Android 和 Windows,可搭配 CPU、GPU 或 NPU 使用;想用語音辨識功能的人,可以留意新增的 VibeVoice-ASR 支援。
llama.cpp b12424 加入 zonos3-mini,讓模型可以產生語音,也改善聲音複製、預設聲音設定和播放速度。這次更新也增加文字整理功能,並提供多種系統與硬體版本,例如 macOS、Windows、Linux 和 Android;實際可用的版本會依裝置和顯示卡或晶片而不同。
這次更新在 FlyDSL 的選用版本中加入一種把矩陣運算和資料分散合在一起處理的原型。它使用 bf16 和加總方式,沿第 0 維分散資料,支援 TP 2、4、8,並限定用在 gfx950;運算時也會在同一個核心裡加總這個處理單位負責的資料區塊。這項功能需要 FlyDSL 和 gfx950 才能測試。
llama.cpp 這次加入 A7 Q6_K 非 MoE 的 OpenCL 二進位核心。這次更新也列出可下載的版本,涵蓋 macOS、iOS、Linux、Android、Windows 和 openEuler,並提供 CPU、Vulkan、CUDA、ROCm 等不同版本。簡單說,使用不同裝置的人可以依自己的系統和硬體挑選對應版本。
llama.cpp 的 CUDA softmax 原本需要多次到記憶體搬資料,拖慢運算。這次修改會在欄位資料放得下時,先把資料留在暫存器裡處理,讓記憶體讀取次數從 5 次降到 2 次,減少資料搬動。這項調整的重點是讓 softmax 運算少花時間在讀寫資料上。
llama.cpp 的 b12398 版本調整了 Vulkan 的 Flash Attention,讓 RDNA3 和 RDNA4 顯示卡處理提示詞時能減少記憶體使用,並修正多項問題,包括 NVIDIA 顯示卡可能卡住,以及稀疏 Flash Attention 使用 FP16 時的數值錯誤。這次更新也列出多種作業系統和硬體平臺的下載版本,方便使用者依自己的裝置選擇。
矩陣運算有些工作會用到比較窄的資料,原本的設定不一定適合。llama.cpp 這次替 Vulkan 新增適合 N≤32 的運算設定,也加入一項處理方式,希望讓這類工作跑得更合適。發布頁沒有提供速度提升的數字,因此無法從這段內容看出實際快了多少。
Ministral-3 和 Qwen3 的推理內容裡如果要呼叫工具,原本可能會遇到問題。這次 llama.cpp 更新調整了聊天功能,讓工具呼叫可以放在推理內容中,並修正相關問題。
llama.cpp 的 Qwen2VL 在組合模型運算時,漏掉了幾個用來調整 FFN 權重的比例資料,導致模型算出來的結果壞掉:CUDA 上的困惑度約為 1e6,CPU 上則出現 NaN。這次修正把比例資料交給 FFN 運算,就像 Qwen2 的處理方式一樣,讓已載入的 NVFP4 設定能正確套用。
llama.cpp 的 mtmd 新增自訂影片解碼器,也調整了 wllama 的需求並清理程式碼。這次更新讓使用者能搭配自訂的影片解碼方式;發布資訊也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等平臺的建置專案。
PyTorch 更新了 NCCL Extensions 的來源版本,並調整 NCCL-EP 的建置條件:沒有指定架構清單時,就不建置 NCCL-EP。更新說明也提到 NCCL-EP v0.3 已推出,加入 Vera Rubin 支援,並改善 NVLink 資料傳送與合併等功能。這次變更主要是更新 PyTorch 使用的來源版本,並讓建置依架構設定進行。
PyTorch 的這個版本加入一項與 regional-aoti 有關的變更:在模組邊界擷取區域呼叫。頁面沒有提供更多說明,無法從這段內容判斷它會怎麼運作或帶來什麼影響。
PyTorch 這次更新了 NCCL Extensions 的來源版本,也調整 NCCL-EP 的建置條件。新的版本是 NCCL-EP v0.3,加入 Vera Rubin 支援,並改善 NVLink 資料傳送與合併等功能;不過,PyTorch 只有在指定的架構清單為 sm_90 或更新架構時才會建置 NCCL-EP。這次更新也同步調整了套件來源版本,讓 PyTorch 使用新的 NCCL Extensions 版本。
團隊要處理大量資料,又想快速看到新資料,常得在 Apache Spark 和 Apache Flink 之間做選擇,甚至同時維護兩套系統。Databricks 的文章認為,多數團隊用 Apache Spark 就夠了:它能處理批次工作、資料分析和串流資料;Real-Time Mode 也讓資料能在幾毫秒內一路處理完成,不必為了更快的串流另外架一套 Flink。文章的測試中,處理有狀態的資料整理時,Spark 的 p99 延遲是 14 ms,Flink 是 45 ms;不過測試由 Databricks 執行,實際表現仍要看自己的工作內容。若需要超大型狀態資料、複雜事件比對,或已經在使用 Flink,Flink 仍可能更適合。
Android 虛擬裝置原本只能在 Linux 上執行,使用 Mac 開發的人因此得在兩種模擬器之間切換,測試結果也可能和實際裝置有落差。Meta 調整 QEMU 和 Cuttlefish,讓它們能在 Apple silicon 的 macOS 上運作,也補上 Mac 原生畫面、觸控操作、建置與簽署支援。開發者因此能在 Mac 上使用較貼近實機的虛擬裝置,並與其他開發者及 CI 使用相同環境。Meta 已分享 QEMU 分支和 AOSP 修補檔供社群使用,也正在探索將改動送回上游。
推薦理由:文章拆解 Cuttlefish 在 Apple silicon 上原生執行的主要改動,能幫助讀者理解 Linux 虛擬裝置框架移植到 macOS 時會遇到哪些工程問題。
有時候,人問的問題不是解決麻煩的好方法,例如蛋糕還太熱,卻一直想找讓糖霜黏住的方法。Hugging Face 與研究人員推出 XYBench,收錄 8,115 個程式和日常生活問題,用來測試 AI 助理能不能看出使用者真正想達成的目標,並把回答帶向更合適的解法。測試發現,受測模型常會回答使用者原本問的方法,較少把真正的目標放在回答重點;即使模型在選擇題中能挑出較好的建議,也不一定會在自己回答時這麼做。這項基準目前以英文和程式性問題為主。
推薦理由:XYBench 比較模型回答字面問題與真正目標的差異,也呈現模型辨認出好建議後,仍未必能在作答時優先採用。
推薦理由:DeepSeek 將 App 的搜尋、檔案與語音等功能開放給 API 使用,並提供可匯入對話紀錄的前端示範,方便了解整合方式。
使用本機模型時,開發者會遇到模型格式、硬體和伺服器安全等不同問題。llama.cpp v1.0.0 更新了公開 API,加入 FP8 KV 快取、CPU 專家快取和外部資料分片載入,也支援 Kimi-K3.1-Pro、Ripple、xing4_0 等模型,以及語音和視覺輸入。伺服器部分修正了 DNS rebinding、CORS 和 SSRF 等安全問題,也新增語音生成 API;網頁介面則加入聊天分組和 Markdown 編輯器。這次更新涵蓋模型執行、伺服器和操作介面,並同步升級 ggml 至 v1.0.0。
推薦理由:這次更新同時調整 llama.cpp 的公開 API、模型支援與伺服器防護,能看出這個工具如何擴充套件本機多模態應用並處理常見網路風險。
PyTorch Inductor 原本每次更新 FakeTensor 資料時,都會掃描整張運算圖;如果只改了其中一小部分,連沒受影響的地方也得檢查,編譯就會花較多時間。這次新增的更新方式從已知的修改位置開始,只往受影響的地方檢查,資料沒有變化時就提早停下。測試中,對一張有 1,605 個節點的運算圖做 200 次區域性修改,更新時間從 25.4 秒降到 0.47 秒,快了 54 倍。結果顯示,若修改隻影響小範圍,就能少做很多不必要的檢查,讓更新更快。
llama.cpp b12345 為 Hexagon 新增 Q5_0、Q5_1 支援,並加入專用的 Q5_0 核心。 發布專案:版本列出 macOS、iOS、Linux、Android、Windows 與 openEuler 的建置專案,涵蓋 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 及 Snapdragon 等支援選項。
PyTorch 為 CppFakeTensorMode 加入具執行緒區域堆疊的 context 管理,追蹤模式進入、巢狀重入與還原狀態,並要求同一執行緒依反向順序退出。
llama.cpp b12342 加入新的 int8 MMA 核心,用於處理 src1 欄數為 2–24 的量化矩陣乘法,可用於 speculative decoding 驗證階段。
llama.cpp b12340 修補伺服器端 CORS Proxy 與媒體 URL 的 SSRF 問題;發布資訊也列出多平臺建置產物與 attestation。
PyTorch 的 trunk/21e85424b9aaa3854ab1b609118816fac4af19a9 變更為預設建置 NCCL EP,讓 TokenSwitchNCCL 啟用。 變更內容:標記為 [distributed];來源未提供其他版本、效能資料或適用條件。
vLLM 說明如何在 Vera Rubin NVL72 上部署 DeepSeek-V4.1-Flash,並透過核心最佳化與機架級記憶體池提升服務吞吐量與延遲表現。
推薦理由:文章拆解 Vera Rubin NVL72 上的核心最佳化,並以 AgentX 資料呈現吞吐量、延遲與快取命中率的變化,可供評估大規模模型服務的部署取捨。
SGLang-Neuron 現已開放使用,透過 AWS Deep Learning Container,讓使用者以熟悉的 SGLang 介面在 AWS Trainium 上提供模型推論服務並產生強化學習(RL)rollouts。
Granite 4.1 3B 與 8B 推出 LLMON 實驗預覽模型,透過專用標記將指令、資料與要求分開表示,並以執行區塊指定彼此關係。 - 提示注入測試:在 OPI 基準上,LLMON 相較測試中的最佳前沿模型多避免 47% 的攻擊,相較最佳開源模型多避免 95%;在 ASB 與 StruQ 也觀察到類似趨勢。
推薦理由:文章說明 LLMON 如何以明確的指令與資料分隔降低靜態間接提示注入成功率,並交代基準測試範圍與尚在改進的自適應攻擊。
PyTorch 公開 PyTorch Conference North America 2026 的 146 場會議影片,涵蓋從主題演講到技術深度探討的多項議題。
使用 browser-use 操作瀏覽器時,關閉連線可能讓命令列報錯,找不到瀏覽器也可能要等很久。browser-use 1.0.3 修正了這些情況:例如,連線提早關閉時,命令列會正常結束;如果 BU_CDP_URL 指向沒有回應的位址,系統會在 3 秒內顯示錯誤。取消雲端操作後,下載的檔案也會在 10 秒內複製完成。這些改動能減少等待,也讓錯誤訊息更清楚。
Block 以開源協作空間 Buzz,讓員工與多個 AI 助理在同一環境中協作,並透過 Unity Gateway 存取不同模型。 - 協作方式:使用者可建立AI 助理、選擇其模型或 coding harness,並與同事在群組討論、專注對話或一對一交流中共同工作。
推薦理由:文章以 Block 的 Buzz 為例,說明如何讓同事與多個 AI 助理在共享工作空間協作,並透過不同模型與 harness 配置探索任務效率與成本。
SGLang 藉助 AI 程式設計AI 助理,在一週內透過 1,500 行外掛整合 IBM Spyre,吞吐量約為參考實作 torch-spyre 的 3.6 倍。
推薦理由:這項整合提供了可參照的工程案例:重用既有 PyTorch 支援與 SGLang 擴充點,搭配 1,500 行外掛,在一週內接入新硬體。
PyTorch Blog 作者團隊在 AI 編碼代理協助下,不到一週便以約 1,500 行程式碼將 SGLang 整合至 IBM Spyre。
推薦理由:文章拆解了 SGLang 整合 Spyre 的程式碼重用與擴充點,並以吞吐量和行數比較呈現實作方式與成果。
vLLM-Omni 將 MiniMax H3-Image 部署至 NVIDIA Vera Rubin,四張 GPU 在短提示詞服務測試中生成原生 4096×4096 影像的中位數延遲為 0.87 秒。
推薦理由:文章比較不同 GPU 配置下的 4K 生成延遲與吞吐量,並交代測試條件差異,便於理解數字適用的服務情境。
Hugging Face Diffusers 0.43.0 新增五種模組化模型整合,涵蓋影像生成與編輯、影音生成、語音驅動動畫及世界模擬。具體包括 MiniMax-H3-Image、Pika H3 Flex、P-H3-Image、Kandinsky S2V 1.0 和 PAN 2。
推薦理由:Diffusers 0.43.0 將五種生成與模擬模型整合為模組化流程,並補上平行化、注意力後端及 LoRA 等工程改進,呈現其應用範圍與部署變化。
llama.cpp b12314 擴充 Adreno GPU 的 OpenCL 分解式 FA 支援,並調整 X2E 的支援範圍與 FA 核心建置方式。
llama.cpp b12311 更新 Discover 搜尋介面與下載狀態處理,改善搜尋期間下載專案的呈現、進度更新,以及不同使用者端之間的同步。 - 下載進度與狀態:改為分別節流每個檔案的進度更新,並確保每個檔案的首次更新會傳送;使用者端要求暫停或取消時,伺服器會回報停止狀態,避免被介面顯示為下載失敗。