llama.cpp 修好 OpenCL 注意力運算的 3 個問題
llama.cpp 修正 OpenCL 的 flash-attention 預填運算路徑中的 3 個問題。第一個問題會讓每次運算留下沒釋放的資料,讓伺服器越跑越慢;修正後會釋放這些資料。第二個問題是在 q8_0 的 K/V 資料搭配 512 大小的注意力頭時,可能算出錯誤結果,現在會改走一般運算路徑。第三個問題是輸入太長、超過裝置能處理的影像寬度時,原本會失敗;現在也會改走一般路徑。
llama.cpp 修正 OpenCL 的 flash-attention 預填運算路徑中的 3 個問題。第一個問題會讓每次運算留下沒釋放的資料,讓伺服器越跑越慢;修正後會釋放這些資料。第二個問題是在 q8_0 的 K/V 資料搭配 512 大小的注意力頭時,可能算出錯誤結果,現在會改走一般運算路徑。第三個問題是輸入太長、超過裝置能處理的影像寬度時,原本會失敗;現在也會改走一般路徑。
llama.cpp 的 b12449 更新調整了 --tensor-split 和 --fit-target,讓這兩項設定最多可以列出與裝置數量上限相同的設定組數。這次更新也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等系統的建置專案,涵蓋 CPU、GPU 與 NPU 等不同硬體選項;部分專案標示為停用。
研究人員常得排隊等共用 GPU 叢集,才能測試大型模型或科學模擬。NVIDIA 推出 DGX Spark Developer Kit,把四臺 DGX Spark 直接連成一組,不必另外購買或設定網路交換器;四臺合計有 512GB 記憶體和 20TB 儲存空間,可在桌邊分配模型與科學運算工作。研究團隊能先在本地開發、除錯,再把成熟的工作放大到更大的系統,也能讓未公開成果和專有資料留在自己的裝置上。套件已在 SC26 展示並開放購買。
推薦理由:四臺 DGX Spark 可組成桌邊運算叢集,讓研究團隊先在本地測試多節點工作,再決定如何擴充套件到大型系統。
模型推論要跑得快,常得針對不同模型、硬體和工作量調整程式;把所有運算塞進一個大型 GPU 核心,雖然有時很快,卻難以套用到不同情況。Together AI 推出 Together Compiler,讓 AI 助理直接修改模型執行流程,並用真實資料測量速度,再反覆嘗試不同做法。文章提到,這套系統在不到 24 小時內、使用不超過兩臺運算節點,於多種模型和其他程式專案中取得加速;作者也提醒,測試資料不貼近實際使用情況,可能讓最佳化方向出錯。
推薦理由:文章拆解 Together Compiler 的設計取捨,說明實際資料、測量方式與 AI 助理的搜尋流程如何影響推論最佳化。
多個 AI 助理一起工作,步驟變多後,出錯和花費也可能跟著增加。AWS 把分工方式分成兩大類:一類是先排好固定流程,另一類是讓模型在工作中決定下一步;文章建議先用固定流程,只有工作步驟無法事先確定時,再考慮讓模型自行安排。文章也提醒,重試要設上限、不同助理交接時要用清楚的資料格式,會影響裝置或客戶的動作則應經過檢查與人工核准。在製造現場,還要把延遲、安全和裝置端資料納入設計。
推薦理由:文章用製造現場的延遲、安全與資料限制,說明如何從固定流程開始,再判斷何時需要讓 AI 助理自行安排工作。
使用 WebGPU 執行模型時,可能遇到運算元不支援、運算不穩或不同 ORT 版本無法搭配的問題。ONNX Runtime WebGPU Plugin EP v0.6.0 新增多種運算支援,也改善部分運算的速度與數值穩定性,並加入設定選項和著色器快取功能。升級時要留意 ORT 版本:最低需求是 1.24.4;部分版本支援不同工作階段同時執行,其他版本則要讓同一裝置上的 WebGPU 操作依序進行。即使能同時執行,也不能在同一個工作階段重疊進行 I/O 繫結和 Run。
企業使用自行微調、自架或尚未正式推出的模型時,過去得另外管理金鑰、程式碼和紀錄。Vercel AI Gateway 現在能把這些模型接到團隊自己的端點,並沿用相同的驗證方式、SDK、API 和監控工具;呼叫時只要更換模型 ID,也能在私有模型和目錄模型間切換。私有模型只供團隊檢視與呼叫,憑證會加密儲存,也可為各家服務商啟用零資料保留。團隊還能檢視用量、設定端點故障時改用目錄模型,或在連線 AI Gateway 的程式開發工具中使用私有模型。
推薦理由:原文說明私有模型如何沿用 AI Gateway 的介面與監控,方便團隊把自架模型和目錄模型放在同一處管理。
AI 助理做長時間的程式工作時,每回合都可能重新送出前面整段對話,讓處理速度變慢、花費增加。Together AI 和 Ollama 說明,快取能保留前面已處理的內容,但提示詞前面的文字一改,後面的快取就得重做;推論引擎若把請求送到別臺機器,也可能用不上原有快取。文章建議讓系統提示詞保持不變,把會變動的資訊放進任務內容,並避免工具一次回傳過多資料。這些做法能減少重複處理,也讓 AI 助理跑長任務時比較順。
推薦理由:文章從 AI 助理每回合重送整段對話的成本切入,說明提示詞設計與推論引擎如何共同保留快取,並整理可直接採用的做法。
同一個模型放到 TPU 上,矩陣尺寸、模型結構和資料怎麼分工,都會影響訓練速度與服務延遲。Google 推出開源指南,整理模型設計和 TPU 硬體配合的方法,涵蓋把重要尺寸對齊 256、讓 MoE 專家模型少搬運資料,以及依晶片連線方式安排平行運算。文中也用 Ironwood 的測試說明調整效果,例如一種 LatentMoE 設計讓訓練速度提升 14%。指南提醒,架構改動可能影響模型品質,應用實際執行時間比較,並先確認答案品質。
推薦理由:指南把 TPU 的矩陣尺寸、模型結構與平行運算方式連到實際效能資料,呈現團隊可如何依瓶頸調整設計。
Vercel 的 Spend Management 現在能分別設定專案和產品的預算,也能檢視目前帳單週期的花費。以專案預算為例,達到上限時可以選擇暫停該專案的正式環境部署,不會影響其他專案;產品預算則能追蹤整個團隊在 Fast Data Transfer 等單一產品上的花費。預算用到 50%、75% 和 100% 時,Vercel 會發出通知;團隊與專案預算也能設定自動暫停部署,產品預算則不支援。Pro 團隊與採用 Flexible Commitment 方案的 Enterprise 團隊可免費使用這項功能。
FlyDSL 的 TopK 程式每次掃描 256 個數字格子,原本會把整段工作一次展開,讓程式碼變大,也佔用較多晶片資源。這次修改改成逐步重複掃描,降低編譯後的資源用量;在 gfx950 的測試中,暫存器溢位從 424 次降到 0 次。45 組測試的平均速度提升 12%,最快提升 63%,最慢則慢了 2%;所有結果都和 ATen 完全相同。
AI 助理看起來完成了工作,結果卻可能點錯飲料,或花超過使用者設定的預算。Vercel 用咖啡訂單示範如何反覆執行同一項任務,檢查最後結果是否符合飲料、取餐時間和總金額等要求,再檢視失敗紀錄,找出助理在哪一步出錯。文章也說明成功率、Pass@k 和 Pass^k 的差別:如果使用者每次都需要答對,Pass^k 能看出助理是否夠可靠。團隊可以用這些測試比較修改前後的結果,並在產品更新時重跑,及早發現問題。
推薦理由:文章用咖啡訂單示範如何從使用者常遇到的錯誤設計測試,並比較成功率與 Pass^k,幫助團隊找出需要修正的環節。
行銷團隊規劃活動時,常得在分析、內容和活動工具之間來回切換。MoEngage把原有平臺 API 接成 MCP 工具,讓 AI 助理能在同一段對話中查資料、寫活動內容和調整流程。使用者身分與工作區資訊由系統傳送,不交給模型判斷;每位使用者的工作階段也各自隔離,並可設定人工審核後才執行。文章也分享了平臺實際成效:客戶 Glance 的活動上線速度提升 50%,推播點閱率提升 38%。
用表格資料預測客戶會不會流失、商品需求有多少,通常得為每種工作各自訓練和維護模型,既花時間,也得處理 GPU 設定和管理。表格基礎模型(TFM)先用大量合成資料預訓練,拿到新資料時,就能參考已知答案來預測,不必從頭訓練;例如 TabICLv2 約有 28M 個引數,商用授權較寬鬆,但不同模型在效能、成本和授權上各有取捨。 Databricks AI Runtime 提供代管 GPU,並整合實驗追蹤、資料治理和模型部署,讓團隊能在資料所在的平臺測試或微調 TFM,再把模型用於批次工作或即時預測。這類模型有機會省下建置和維護專用模型的時間,但每次預測都要把資料交給模型處理,GPU 用量可能隨資料列數和欄位增加;企業仍得用自己的資料評估準確度與運算成本。
製藥流程檔案數量龐大,還得確認檔案是否核准、版本是否有效,以及內容適用哪個廠區、產品和裝置,人工查詢容易耗時,也可能漏掉重要關聯。Novo Nordisk 團隊與 AWS 合作打造 AI 助理,先用知識圖譜釐清問題範圍,再結合關鍵字與語意搜尋找出相關檔案,並附上來源;問題不夠清楚時,會先詢問使用者。若找不到合適資料,系統會說明限制,不自行補答案。團隊表示,部分過去要花數小時或數天的工作,現在可在幾分鐘內完成。
銀行、保險公司和航空公司有些重要工作仍靠主機上的 Assembler 程式處理,但懂得維護這些程式的人愈來愈少,手動重寫又花時間,也可能弄丟沒人記得的規則。這套做法先用 Amazon Bedrock 分析程式、整理出業務規則,再請熟悉業務的人檢查;接著把 Assembler 轉成較容易閱讀的 COBOL,確認結果符合原本功能後,再由 AWS Transform 轉成 Java Spring Boot 應用程式。 例如,程式裡的資料對應和計算規則會先整理成檔案,交給專家確認,降低轉換時漏掉規則的風險。這種分階段做法能協助縮短改寫時間,也讓人能在每個重要步驟檢查程式是否維持原本的業務功能。
AI 助理的工作空間可能整天開著,卻只在收到提示詞時工作;如果每個工作階段都一直佔著機器,等待時間也要付費。Google 說明如何用 Agent Substrate 和 AX 把閒置的工作環境暫存到物件儲存,空出機器,等下一次提示詞來時再恢復。以 100 個程式開發 AI 助理為例,每小時 2 次提示詞並設定 2 分鐘閒置時間,節點費用可省 40%;每小時 4 次提示詞時,節省幅度降到 4%。文章也提醒,工作池要依最忙時的需求配置,並和提供相同 CPU 保證的做法比較。
推薦理由:文章用提示詞頻率和閒置時間比較 GKE 節點成本,並說明工作池滿載與 CPU 保證會怎麼影響停放效益。
多個請求同時產生內容時,逐一檢查草稿可能拖慢速度。Ollama v0.40.17-rc1 的 mlxrunner 改成批次檢查,讓不同請求共用目標模型的驗證工作,同時保留各自的抽樣方式和快取回復。它也會分別學習同時處理多個請求時該寫多長的草稿,並處理取消請求、不同生成方式混用等情況,讓並行生成時的草稿和檢查更能配合。
大型語言模型用強化學習訓練時,取樣和更新模型若算出些微不同的機率,訓練可能變得不穩。Google 在 Tunix 中做出 Zero-TIM,讓 TPU 上的取樣、服務預填和訓練三條流程,對同一個動作算出完全相同的機率;做法包括固定運算順序,並讓訓練重用服務端的計算。團隊在 64 張 TPU v5p 上測試 200 步,Zero-TIM 每一步的取樣與訓練機率差異平均為零,這些測試中的解題率也比另外兩種做法高。結果來自 FrozenLake 測試環境,文章沒有說明其他模型或任務的表現。
推薦理由:文中拆解 TPU 上取樣與訓練算出不同機率的原因,並提供三段比對流程,方便定位數值差異從哪裡出現。
數千張 GPU 一起訓練 AI 模型時,網路如果太慢或中斷,整批工作都可能卡住。雲端服務商 Lambda 使用 NVIDIA Photonics 交換器,連線裝有 GB300 NVL72 的機櫃,整個 AI 工廠有超過 10,000 張 GPU。Lambda 的測試顯示,網路延遲在機櫃規模約降低 4%,在機群規模最多降低約 10%,耗電效率最高提升 5 倍、可靠度最高提升 15 倍。交換器採用液冷,也能在現場更換光源模組;如果雷射故障,就不必更換整個模組。
每次請求都重送很長的背景資料,會增加處理時間和輸入費用。Amazon Bedrock 的開放權重模型現在支援明確提示詞快取,開發者可以標出要重複使用的內容,讓後續請求直接讀取快取;也能使用自動快取,或同時使用兩種方式。文章用產品手冊問答和 OpenCode 寫程式的例子,示範如何檢視快取讀取與寫入用量。把不常變的指示和參考資料放在前面,有助於重複使用;實際支援方式、最低長度和儲存時間則依模型而異。
推薦理由:文章比較自動與手動標記快取字首的做法,並示範如何檢視讀寫用量,方便估算重複使用長提示詞時的費用與延遲變化。
更新 tauri-bundler v2.10.5 後,Windows 安裝程式會在許可權不足、系統帳號或特定資料夾位置時顯示更清楚的錯誤,並修正程式簽章失敗,以及 MSI 更新時把使用者刪掉的桌面捷徑加回來的問題。這次也修好 NSIS 的波斯文和希伯來文顯示、Linux 和 macOS 重複下載工具,以及 RPM 套件無法處理 beta 版本等狀況,讓不同系統上的安裝與打包流程更順利。
llama.cpp 的 b12438 更新支援在 JSON 輸出中設定 sort_keys=true,讓鍵值依順序排列。這次也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等系統的建置版本,涵蓋不同處理器與 GPU 設定;部分版本標示為停用。
ExecuTorch 模型要在 WebAssembly 的 SIMD 模式執行時,原本只編入純量核心,造成程式連結失敗;即使改用純量核心,速度也較慢。這項修改讓 XNNPACK 在啟用 SIMD 時編入對應的 SIMD 核心,並調整 pthreadpool,避免在 WebAssembly 使用不支援的 x86 指令。作者測試一個小型卷積網路,使用 SIMD 核心每次執行需 9 毫秒,純量版本則需 90 毫秒。
ExecuTorch 模型在 WebAssembly 啟用 SIMD 時,原本會因缺少 XNNPACK 對應的核心程式而無法完成連結;改用較慢的純量版本也會拖慢運算。這次修改讓啟用 SIMD 的建置納入 XNNPACK 的 SIMD 核心,並避免 pthreadpool 在 WebAssembly 使用不適用的 x86 指令。作者實測一個小型卷積網路,單執行緒每次執行從純量版本的 90.0 ms 降到 9.0 ms;未啟用 SIMD 的建置則不會多編譯這些程式。
AI 助理處理長任務時,每一步都會帶上先前的對話與工具結果;如果每次都重新讀完整份內容,等待時間和成本會一路增加。Ollama 和 Together AI 說明,前面讀過的內容可以先存在快取裡,下一次只處理新增部分。要讓快取派上用場,工具說明和系統提示詞要盡量保持不變,工具結果也要避免塞入不必要的大量內容;推理程度最好從一開始就固定。引擎還得把後續請求送回存有快取的機器,並在等待工具執行時妥善儲存快取。這些做法能減少重複處理,讓長工作流程更順暢。
推薦理由:文章從提示詞安排與 GPU 快取兩端說明長任務為何會變慢,並整理維持快取的做法,適合用來改善 AI 助理的工作流程。
DTensor 計算 any/all 時,原本會先把所有資料分片集中起來,才能判斷結果,可能因此多做一次資料傳輸。這次修改讓每個分片先在本地計算,再把中間結果留到真的需要完整答案時才合併;例如檢查一個布林值時,會先取得所有分片的整體結果。原本的雙 GPU 測試從 any() 需要一次資料集中傳輸,變成運算當下不傳資料,取用結果時才做一次合併。這能減少不必要的 GPU 資料傳輸,讓分散式運算更有效率。
這次更新在 FlyDSL 的選用版本中加入一種把矩陣運算和資料分散合在一起處理的原型。它使用 bf16 和加總方式,沿第 0 維分散資料,支援 TP 2、4、8,並限定用在 gfx950;運算時也會在同一個核心裡加總這個處理單位負責的資料區塊。這項功能需要 FlyDSL 和 gfx950 才能測試。
llama.cpp 的 b12420 加入對 MiniMax-M3.1 的支援,也列出 macOS、iOS、Linux、Android 和 Windows 等平臺的版本。像是 Linux 和 Windows 都有可搭配 CUDA 12、CUDA 13 或 Vulkan 使用的版本,部分平臺也提供 CPU 版本。這次更新讓使用者能在不同系統上使用 llama.cpp 執行 MiniMax-M3.1。
llama.cpp 這次加入 A7 Q6_K 非 MoE 的 OpenCL 二進位核心。這次更新也列出可下載的版本,涵蓋 macOS、iOS、Linux、Android、Windows 和 openEuler,並提供 CPU、Vulkan、CUDA、ROCm 等不同版本。簡單說,使用不同裝置的人可以依自己的系統和硬體挑選對應版本。
llama.cpp 的 b12403 加入 Hexagon 的 TIMESTEP_EMBEDDING HVX 核心,並調整相關程式,加入 DMA、工作切分與追蹤功能,也放寬 cont_rows 的條件。這次也新增涵蓋 WAN2.2 的測試案例。發布頁列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等平臺的建置專案;部分專案標示為停用。
llama.cpp 的 CUDA softmax 原本需要多次到記憶體搬資料,拖慢運算。這次修改會在欄位資料放得下時,先把資料留在暫存器裡處理,讓記憶體讀取次數從 5 次降到 2 次,減少資料搬動。這項調整的重點是讓 softmax 運算少花時間在讀寫資料上。
llama.cpp 的 b12389 修正了 OpenCL 執行時的幾個問題,包括讀寫超出範圍、資料複製時沒有配合目的地的排列方式,以及處理多批資料和 bf16 數值時的錯誤。像是 f16 SwiGLU 運算原本可能寫到不該碰的地方,這次也一併修好。這些修改能讓相關運算更可靠;更新也提供多種作業系統和硬體平臺的版本。
PyTorch Inductor 把某些運算改成可修改資料的版本時,過去沒有同步更新相關資料,可能讓後續運算誤判資料的排列方式;遇到特定的 all-reduce 運算時,甚至會算出錯誤結果。這次修正會在每次改寫後,立刻更新受影響的資料和連結;如果無法安全更新,就保留原本的運算。像矩陣相乘後轉置再做 all-reduce,修正前結果錯誤,修正後結果正確,讓圖中的資料關係和實際運算保持一致。
PyTorch 的 AOT 執行時包裝程式和 Dynamo 互相匯入時,可能讓 Dynamo 還沒準備好就被其他程式使用,之後呼叫 torch.compile 便可能失敗。這次修改把部分匯入延後到擷取反向計算圖時才進行,避免兩邊卡在彼此載入的狀況,也不改變反向計算。維護者用新的程式執行環境重現並檢查這個問題,確認修正後能順利匯入;CUDA 和完整的 PhysicsNeMo 流程則沒有測試。
llama.cpp 重新整理 DFlash 家族的推測解碼程式,讓不同草稿模型各自使用對應的讀取和執行方式。新增的 draft-dflash2 和 draft-lilicorr 可指定 DFlash2 與 LiliCorr;原有的 draft-dflash 也會依草稿模型的資料自動選擇 DFlash、DFlash2 或 LiliCorr。若型別和模型不相符,或同一次執行混用多種 DFlash 家族型別,系統會拒絕開始推測解碼。這次整理也讓 DSpark 使用自己的讀取方式,並把共用的程式拆分整理。