llama.cpp b12629 加入 Adreno 850 矩陣運算支援
llama.cpp 這次更新替 Adreno 850 加入多種資料格式的矩陣運算功能,涵蓋 Q4_0、Q5_0、Q8_0、Q4_K、Q5_K 和 Q6_K。簡單說,這讓使用 Adreno 850 的裝置能用這些格式進行矩陣計算;更新內容也列出多種系統與硬體版本的下載專案。
llama.cpp 這次更新替 Adreno 850 加入多種資料格式的矩陣運算功能,涵蓋 Q4_0、Q5_0、Q8_0、Q4_K、Q5_K 和 Q6_K。簡單說,這讓使用 Adreno 850 的裝置能用這些格式進行矩陣計算;更新內容也列出多種系統與硬體版本的下載專案。
llama.cpp 的伺服器新增了在單一 ubatch 中處理非因果批次的功能。這次更新也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等平臺的版本與建置專案,涵蓋 CPU、GPU 和多種運算環境;部分專案標示為停用。
處理影片影格時,轉置卷積可能花上不少時間。llama.cpp 的 b12621 更新縮小了 SYCL 轉置卷積每次要讀取的輸入範圍;在文中列出的測試中,部分運算快了 2.90 到 710.23 倍。測試輸出與舊版逐位元相同,相關運算元測試也全部通過。不過,這些數字是單一核心運算的測試結果,不能直接當成整體語音生成速度的提升。
llama.cpp 的這次更新加入一種 SYCL 運算核心,能把 gated_delta_net 的工作分成區塊處理。更新頁也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等平臺的建置專案,涵蓋 CPU、GPU 與 NPU 等不同硬體環境;部分專案標示為停用。這讓使用者能看出更新支援哪些平臺與運算方式,但頁面沒有進一步說明這項新核心的效能差異。
llama.cpp 載入 Inkling2 模型時,會先複製專家層的資料,之後才載入額外的尺度資料,導致後續運算使用 NVFP4 專家層時少了每個專家需要的尺度資料。這次修改新增一個載入後的處理步驟,等尺度資料也載入後再分享專家層資料,讓後續運算拿得到完整資訊。
PyTorch 的 float4 等特殊資料格式沒有一般的數值轉換方式,彼此混算時原本只有 CPU 會拒絕;其他裝置可能算錯,CUDA 還可能因此報錯,讓後續操作也受影響。這次修改讓 TensorIterator 在所有裝置上遇到這類轉換時,都用相同方式回報「尚未實作」,例如拿 float4 張量和整數或浮點數比較,或把結果加到 float4 輸出中。這讓不同裝置的錯誤處理一致,也避免 CUDA 因不支援的轉換而出問題。
Ollama v0.40.17 加入 Thinking Machines 的 Inkling 2 Mini:它有 26B 個引數、每次運作會用到其中 5.4B,能處理文字和圖片、呼叫工具,也能進行推理;在 SWE-Bench Verified 的分數是 79.2%。這個模型約佔 20GB,能在 Apple silicon 的 Mac 上執行;這次版本還不支援 PC,之後才會加入。 這次更新也讓 Apple silicon 上的 Ollama 能同時處理多個請求,並改善 Claude Code 延後載入工具等功能。其他修正包括讓共用記憶體的顯示卡載入模型更順利,以及避免 Ollama 在非互動式終端機中因沒有輸入指令而顯示錯誤。
PyTorch Dynamo 編譯程式時,會檢查多個張量有沒有用到重疊的記憶體;原本就算 3,103 個張量彼此沒有重疊,也可能要做超過 481 萬次比較。這次修改讓系統先按記憶體位置排序,再逐一檢查相鄰區段;遇到不適用的情況,仍會使用原本的檢查方式。在一個使用 3,103 個區塊的測試中,檢查時間從 86.75 毫秒降到 4.90 毫秒,讓編譯後的更新工作更快。
PyTorch 原本會在處理每個資料時,重複計算一個其實整次運作都不會變的除法,白白多花時間。這次修改讓 PyTorch 先算好這個數字,再交給後續運算使用。在 GB200 上測試 GLM-5.3 的 FP8 權重時,速度快了 1.17 到 1.22 倍;例如其中一種權重,單次運算時間從 739.2 微秒降到 607.8 微秒。測試結果在修改前後都和 eager 的結果一致。
一整排輸入數值都相同時,LayerNorm 理應輸出全 0,但 PyTorch 在某些 GPU 上可能算出約 0.00001。原因是它合併部分平均值時,四捨五入後的權重加起來不一定剛好是 1。這次修正改用另一種計算方式;測試確認,MI355X 和 NVIDIA L4 上,相關測試都順利通過。
使用 NIXL 傳送資料時,程式需要知道傳輸何時完成,才能接著處理。這次 PyTorch 更新加入對端通知功能:讀取或寫入資料時可以附上通知,接收端會在傳輸完成後收到;也能查詢或等待通知。通知內容上限是 4 KiB,零位元組傳輸不能附帶通知。由於 NIXL 1.5.2 的 UCX 傳輸要等發起端檢查傳輸才會送出通知,而且 NIXL 無法主動提醒有新通知,這項更新會在背景輪詢傳輸和通知。
自架大型語言模型時,不同 GPU 伺服器若沒有共用對話紀錄,使用者回來接續工作時,伺服器就得重新計算,讓第一個回應變慢。AWS 介紹一項分散式 KV 快取技能,可在支援技能的程式開發 AI 助理中,先檢查工作負載是否適合,再估算快取成本、協助設定 Amazon ElastiCache,或排查傳輸問題。文章也提醒,短提示詞可能不適合用快取;是否划算要看提示詞重複情況與實際流量,釋出的 GPU 時間也只有在減少伺服器或承接更多流量時,才會轉成省下的費用。
推薦理由:文章以四段實際操作說明技能如何先估算工作負載是否適合,再協助設定與排除故障,呈現從評估到部署的完整流程。
共享的 Slurm 叢集常得靠多份指令碼和設定檔管理軟體、監控資料與使用者帳號,節點增加或更換後也容易出現設定不一致。Amazon SageMaker HyperPod 推出叢集擴充套件,讓管理者透過 API 或主控臺安裝、調整和更新監控與使用者管理功能;設定送出時會先檢查,之後套用到每個節點,並回報狀態與問題。監控擴充套件可把節點、GPU 和 Slurm 工作的指標送到指定的監控服務;使用者管理擴充套件則能讓各節點維持一致的帳號與許可權。組織專用軟體仍可用自訂 AMI 或生命週期指令碼管理,每項功能應由其中一種方式負責,避免互相衝突。文章表示這些擴充套件不另收費,但使用的 AWS 服務仍照常計費。
推薦理由:文章以共享 Slurm 叢集的維運流程說明擴充套件如何管理節點軟體,並比較它和生命週期指令碼各自適合負責的工作。
推薦理由:Replit Missions 讓使用者設定目標、預算與限制,再由多個 AI 助理分工規劃、建置和測試,呈現了以成果安排開發工作的做法。
推薦理由:Replit Desktop 把雲端模型和電腦上的程式碼分開執行,並讓使用者選擇 AI 助理能讀取哪些資料夾,呈現了本機檔案與雲端開發工具的協作方式。
模型服務分散在多個叢集和區域時,流量可能塞在忙碌的叢集,其他地方的 GPU 卻閒著;叢集故障時也得手動改設定。AWS 推出 Amazon SageMaker HyperPod Global Inference Gateway,讓使用者端只呼叫一個入口,服務會依 GPU 記憶體與 KV cache 餘裕、排隊情況、區域遠近和錯誤率,把請求送到合適的叢集。若叢集故障,流量會自動切換;請求透過 AWS PrivateLink 傳送,並以 SigV4 和 IAM 驗證。每個叢集原有的 Inference Gateway 仍負責把請求送到模型。這項服務已在 13 個 AWS 區域推出。
推薦理由:這項更新把多個叢集的模型服務整合到單一入口,並說明如何依負載與錯誤狀況分配流量及自動切換,適合瞭解跨區部署的管理方式。
企業把內部系統接到 Gemini Enterprise 時,得避免 MCP 服務暴露在公開網路,也要確認每次呼叫來自哪個服務和使用者。Google 說明如何用 Egress Agent Gateway、Private Service Connect 和精確網域的 Private Cloud DNS,讓 Gemini Enterprise 私下連到 Cloud Run;DNS 只套用在指定的 MCP 網址,避免影響共用 VPC 裡的其他 Cloud Run 服務。文章也說明兩層驗證的分工:Cloud Run IAM 確認呼叫服務的身分,MCP 程式則檢查使用者的 OAuth 2.0 權杖。文中附有參考程式和設定步驟,並介紹如何用 Cloud Logging 確認連線狀況。
推薦理由:文章整理 Cloud Run 內部 MCP 服務的私有連線與雙重驗證做法,也說明如何避免 DNS 設定影響共用 VPC 中的其他服務。
模型把部分中間層重複運算,會讓推論時的快取和訊息傳遞更難處理。vLLM 宣佈支援 Thinking Machines 的 Inkling 2 Mini,並在 NVIDIA Blackwell、Hopper 和 DGX Spark 上提供 Day-0 支援。Inkling 2 Mini 的 12 個核心層會對每個 token 運算三次,每次各自保留 KV cache,並讀取前一次運算傳來的訊息;模型有 26B 總引數、3.5B 啟用引數,支援最多 1M tokens 的上下文。vLLM 也支援可調整運算次數的研究檢查點,讓團隊能測試速度、記憶體用量和品質之間的取捨。
推薦理由:Inkling 2 Mini 的迴圈層會讓每個核心層重複運算三次,vLLM 透過分開管理快取並融合訊息讀取來支援這種架構。
Vercel Functions 現在在 Public Beta 中可接收最大 20MiB 的請求資料,原本上限是 4.5MB。要使用較大的上限,必須設定環境變數 VERCEL_SUPPORT_LARGE_REQUEST_BODY=1,並讓專案的函式使用 4GB 效能記憶體設定;功能適用於 Node.js、Python、Bun 和 Routing Middleware。Edge runtime 仍維持 4.5MB 上限,超過會回傳 413。啟用後,Routing Middleware 看得到請求標頭和其他資料,但收不到請求本文;處理大檔案時也要盡快讀取,避免記憶體和傳輸壓力。
Ollama v0.40.17-rc3 加入多項更新:Claude Code 需要工具時才載入 MCP 工具;Apple silicon 上的 Ollama 現在能同時處理多個請求。更新也修正了部分顯示卡載入模型或配置記憶體失敗的問題,並讓 API 傳遞工具設定時保留原有的 JSON 格式規則。這次更新還調整了多行輸入、模型推理設定和 ChatGPT 設定檔切換等操作,讓使用過程少一些卡關。
網站管理者常需要分辨可疑流量,也要知道網頁載入了哪些指令碼。Vercel 開放 Priority Projects 公開測試,供 Pro 和 Enterprise 團隊按專案加購,每個專案每月 $200。它能標示來自 Tor、VPN 和代理伺服器等流量,提供更多機器人資訊、防火牆警示,也能透過 Page Integrity 檢視並封鎖未核准的網頁資源。流量來源規則可用來記錄、要求驗證或封鎖請求,但 Vercel 提醒,分類中也可能包含正常使用者;Page Integrity 和 OWASP 檢查另行計費。
把文字變成語音時,開發者可能希望調整說話情緒、維持熟悉的聲音,也讓語音更快開始播放。Together AI 現在提供 Qwen3 TTS,可從 9 種預設聲音中挑選,再用簡短文字改變說話方式;每種聲音都支援 10 種語言。串流時,第一段音訊最快可在 97ms 後送出,文字若還在逐步產生,也能透過 WebSocket 分段送入。服務費用是每 1M 個字元 $20;Qwen 建議使用聲音原本的語言,以取得較好的品質。
推薦理由:文章整理了 Qwen3 TTS 在 Together AI 的語音控制與串流方式,並說明不同語言的聲音品質可能因預設聲音而異。
在 MoE 裡,有時一批資料不會分到任何專家,讓輸入的 token 數變成 0;這時 PyTorch 的 XPU 版 grouped_mm 會出錯。問題是底層 oneDNN 無法處理某些維度為 0 的分組資料。這次修正會在輸出沒有元素時直接結束;如果 K 維度是 0、但輸出仍有內容,就把輸出設為全 0,因為這時沒有任何數值可以加總。測試涵蓋這兩種情況,讓空輸入也能得到正確結果。
DuckDB 2.0.0 有些情況會漏掉資料,也有設定可能讓外部存取沒有被擋住。DuckDB 2.0.1 LTS 修正這些問題,並修補 Linux 記憶體管理與 Brotli 解碼器相關漏洞;若暫時不能升級,Linux 使用者可設定 DUCKDB_JE_MALLOC_CONF=muzzy_decay_ms:0,降低其中一項記憶體問題的影響。這版也新增 Sirius,能在符合條件的 Linux 電腦上用 NVIDIA GPU 執行 DuckDB 查詢;第一次載入時會下載約 1 GB 的對應程式。升級前還要檢查 SECRET 許可權範圍,以及 UPDATE ... FROM 和 MERGE 的更新結果可能受到多筆符合資料影響。
推薦理由:這次更新同時修正資料遺失與安全問題,也調整部分舊行為;文中列出升級前需檢查的設定與暫時緩解方式。
llama.cpp 的 MoE 快取會在每一層增加查詢空間,使用 --moe-cache-cpu-share 時還會多一條專家路徑,但程式原本預留的空間不夠。當 MoE 快取和量化 KV 快取一起使用時,部分模型會因為空間用完而中止。這次更新調整了預留空間,修正這個問題。
llama.cpp 的 b12566 加入 KleidiAI 對 HarmonyOS AArch64 的支援,讓這個版本能用於搭載 AArch64 架構的 HarmonyOS 裝置。這次更新也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等系統的建置專案,包含不同處理器與加速方式;不過清單中有些專案標示為停用。
PyTorch 使用 MPS 做 segment_reduce 時,原本沒有這項運算的原生前向實作。這次更新加入加總、平均、最大值、最小值和乘積運算,支援 float32、float16 與 bfloat16;反向運算目前還未實作。在 M5 Pro 的測試中,使用 offsets 的多種資料形狀都有加速,依運算種類約為 13 到 101 倍;改用 lengths 時,共用前端每次呼叫會多出兩次主機同步,部分測試因此變慢。
推薦理由:這次更新提供 MPS 上 segment_reduce 前向運算的實測比較,也顯示輸入方式會大幅影響速度,評估效能時可一併留意主機同步成本。
在不同顯示卡上執行同一種運算時,效能調整和相容性處理可能各不相同。llama.cpp b12561 更新 Vulkan 版 GATED_DELTA_NET,加入分段處理,並針對 RDNA4、Ampere 和 NVIDIA 顯示卡調整程式,也修正部分驗證錯誤與效能問題。這次更新還列出多種系統與硬體的下載版本,方便使用者依自己的裝置選用。
ROCm 分析工具處理紀錄時,背景工作可能同時新增資料,讓正在讀取資料的程式遇到問題而當機。這次修改會先把待處理的紀錄分批取出,再放開鎖來分類和處理;處理期間新來的紀錄會留到下一次處理或清理時再讀。修改也保留共用緩衝區的事件數量限制,並加入檢查這些情況的測試。不過,這項作法不保證每筆同時送來的紀錄都會被處理;新測試也尚未在 CI 工作中執行。
🎉 vLLM 首日支援騰訊混元的 Hy4! 一個模型處理文字、圖片和影片:閱讀視覺檔案、比較圖片,並結合文字推理影片片段。 1/4 https://t.co/vftPPimxj7
PyTorch Inductor 把一長串資料寫入操作合併執行時,每個工作區塊都會讀取大量用不到的資料,拖慢了補零工作。這次修正調整了圖形最佳化方式,遇到較長的寫入鏈時,改成直接把資料寫進指定位置,避免重複讀取。在 GB300 的本機測試中,每輪工作約省下 25 毫秒;GB200 測試也觀察到每輪至少省下 44 毫秒。
推薦理由:這項 PyTorch Inductor 修正說明,長鏈融合可能讓每個執行區塊重複讀取不需要的資料,並以實測呈現改用原地寫入後的效能差異。
使用 CUDAGraph 時,有些程式需要自己安排執行圖的建立順序。這次 PyTorch 加入設定執行圖的功能,讓程式可以接手或清除已建立的執行圖;換掉的舊執行圖由呼叫端負責,新設定進去的則由 CUDAGraph 管理。原本的 instantiate() 不變,也移除了針對特定驅動程式的替代做法。
ROCm 原本用 POSIX 檔案描述符,讓不同 GPU 分享可擴充套件記憶體;但每個區塊都會佔用一個描述符,數量太多時就可能分享失敗。這次 PyTorch 改用 fabric handle,讓支援 UALink 的 GPU 能交換記憶體區塊,也避開檔案描述符上限。測試中,16,384 個區塊都能完成分享;POSIX 檔案描述符方式則在系統上限較低時提早失敗。改動也繞過一個 HIP 問題:從 fabric handle 匯入的記憶體只開放 GPU 存取。測試顯示,這項改動主要改善分享的穩定性,沒有帶來明顯頻寬提升。
模型上線後,團隊還得處理延遲變高、GPU 沒用滿、流量塞在單一區域等問題。這篇文章整理 Amazon SageMaker Inference 後續推出的 14 項更新,涵蓋效能建議、LoRA adapter 調校、GPU 分割、多節點模型服務、跨區域流量分配和持續監控。例如,跨區域路由能把請求送到其他已登記的端點,並限制哪些區域可以處理流量;原有端點也能用少量額外機器分批更新模型,再重複使用既有機器。文章透過一個客服 AI 助理團隊的假想案例,說明這些工具如何協助團隊管理模型上線後的工作。
推薦理由:文章依照模型上線後常見的營運難題,整理 SageMaker Inference 的更新如何協助團隊調校效能、共用 GPU 資源並跨區域分流。
PyTorch 開源版原本還會建置舊版 ProcessGroupNCCL,這次更新把它移到內部程式碼,讓開源版的 ProcessGroupNCCL 改用 nccl2。舊版後端和部分 Python、C++ 介面也一併移除;需要使用相關 C++ 擴充功能的開發者,得改用新的 nccl2 標頭檔。直接建立 ProcessGroupNCCL 時,現在會依群組排名設定裝置並提早初始化通訊;若程式要使用其他裝置,就必須設定群組排名,或啟用延後初始化。
想讓 AI 助理看懂圖表,還能照著要求做出簡單遊戲,可以試試 Tencent Hy4。Together AI 現在提供這個模型的雲端服務,可用文字和圖片輸入,也支援工具呼叫與 JSON 輸出。文章測試它讀取圖表數字並重畫成 HTML,也讓它用單一提示詞寫出瀏覽器遊戲;作者實際開啟遊戲,確認能玩到結束並重新開始。Together AI 列出的價格是每 1M 輸入 token $0.83、輸出 token $2.50,快取輸入 token $0.042。
推薦理由:文章用讀取圖表、重畫圖表和製作瀏覽器遊戲的實測,呈現 Hy4 在 Together AI 上的圖文輸入與程式生成表現,並列出使用價格。