llama.cpp b12479 開始支援 Minimax-Music3
llama.cpp 這次更新,加入對 Minimax-Music3 的支援,並修正、整理了相關程式碼。更新頁面也列出多種系統和硬體的版本,例如 macOS、Linux、Android、Windows 與不同 GPU;其中有些版本標示為停用。
llama.cpp 這次更新,加入對 Minimax-Music3 的支援,並修正、整理了相關程式碼。更新頁面也列出多種系統和硬體的版本,例如 macOS、Linux、Android、Windows 與不同 GPU;其中有些版本標示為停用。
Android 程式碼庫很大,下載原始碼和重新建置常要等很久,也讓開發者和 AI 助理難以快速開好多個工作區並平行測試。Google 做了開源工具 ABFS,先載入檔案清單,等建置真的需要某個檔案時才下載,並重用 CI 和開發者已經做好的建置結果。Google 表示,Android 原始碼下載時間從約 36 分鐘縮短到不到 8 秒,完整建置則從約 80 分鐘縮短到 2 分鐘多。ABFS 也能讓多個工作區共用快取;Google 正探索把它用在其他大型 Git 專案。
推薦理由:ABFS 把大型 Git 專案的檔案按需載入,並重用 CI 與開發環境的建置結果,文中以 Android 實測呈現這套做法如何縮短等待時間。
團隊想完成大型專案,常會卡在人手和時間不夠。Replit 推出 Missions,使用者先說明目標、預算和哪些動作要先核准,接著由多個 AI 助理分工規劃、開發、測試和修改;完成進度與待核準事項都能檢視。Replit 用它打造自家的監控平臺 DataCat,花 2 天、預算上限 $3,000,完成儀錶板、警示和追蹤功能;測試時,平臺在 38 秒內找出刻意加入的資料庫錯誤。Replit 表示,DataCat 的自架版本也已開放原始碼。
推薦理由:Missions 把多個 AI 助理分工執行、預算限制與人工核准放進同一流程,文中 DataCat 案例也呈現這套做法如何處理監控平臺建置與效能檢查。
AI 模型越來越大,AI 助理也會累積大量工作紀錄,讓推論和訓練更難在不同硬體上順利進行。SGLang Summit 發表 SGLang v1.0,聚焦提升正式環境的效率與擴充能力;Miles v0.2 則支援 NVIDIA 和 AMD GPU、Google TPU,並將強化學習擴充套件到圖片、影片和音訊。大會也分享多個部署案例,例如 Meta 表示,改用 SGLang 後 GPU 用量減少超過 2 倍。這些更新與案例呈現了團隊如何把實際部署需求帶回開源工具的開發中。
推薦理由:SGLang 與 Miles 的更新涵蓋推論和強化學習,也整理了不同硬體與實際部署的經驗,可看出開源工具如何回應現場需求。
llama.cpp 的 b12470 修正了 SYCL 搭配 mkl 時,遮罩套用到多個注意力頭或批次會出錯的問題,也替 macOS、Linux、Android、Windows 等平臺提供多種版本。伺服器啟動指令碼原本新增了 cache-ram 引數,但格式有問題,因此這項調整移到另一個 PR 處理。
這次 PyTorch 更新調整了 CPU 和 GPU 一起運算時的處理方式:在把運算合併到 GPU 之前,先完成 CPU 上的純量運算。這項修改記在版本 viable/strict/1794910847 的發布內容中。頁面沒有提供更多細節,因此無法從中判斷它會改善哪些使用情境或帶來多大差異。
大型分析資料庫要跟上 PostgreSQL 的修補,也得照顧不同作業系統和硬體平臺。Apache Cloudberry 2.2.0 把核心從 PostgreSQL 14.4 更新到 14.10,納入多項上游安全修補,並加入六種擴充功能與多項查詢改進。這個版本支援 Rocky Linux 8、9、10 和 Ubuntu 22.04、24.04,Ubuntu 20.04 則不再支援;安裝套件也支援 x86_64 和 ARM64。
大量資料載入 PostgreSQL 時,原本的工具會在單一工作程式裡讀取、解析和寫入,讓多核心電腦的其他核心閒著。pg_fastload 1.0.0 把讀取和解析分給背景工作者,再由原本的工作程式負責寫入;整次載入仍是一筆交易,遇到錯誤資料就會取消整次載入。文中的測試以 1 GiB CSV 資料進行,預設設定比 COPY 快 6.07 倍,比上游 pg_bulkload 最快的模式快 1.58 倍。部分設定不適用平行處理時,程式會自動改用單一工作程式。
推薦理由:pg_fastload 把讀取和解析工作分給背景工作者,同時保留單一交易;文中也比較了它和上游工具及 COPY 的測試結果。
llama.cpp 修正 OpenCL 的 flash-attention 預填運算路徑中的 3 個問題。第一個問題會讓每次運算留下沒釋放的資料,讓伺服器越跑越慢;修正後會釋放這些資料。第二個問題是在 q8_0 的 K/V 資料搭配 512 大小的注意力頭時,可能算出錯誤結果,現在會改走一般運算路徑。第三個問題是輸入太長、超過裝置能處理的影像寬度時,原本會失敗;現在也會改走一般路徑。
這次 PyTorch 的更新加入 profile._toggle_stack_collection(),可以停止收集 Python 呼叫堆疊。這項變更出現在 viable/strict/1794891015 這個版本標記中;頁面沒有提供更多說明,因此目前只能確認新增了這個功能。
這次更新為 llama.cpp 加入 A7 Q8_0 非 MoE 二進位 kernel,並擴充對 macOS、Linux、Windows、Android 等多作業系統與 GPU/CPU 的支援。使用者現在能在 Apple Silicon、Vulkan、CUDA 12/13、ROCm、OpenVINO 等環境中更輕鬆部署模型,提升推理速度與效能。更新還包含對 Ubuntu 24.04、26.04、s390x、以及 Windows 的 OpenCL、ROCm、Vulkan 支援,並提供 Android Snapdragon 方案,減少環境配置成本。
llama.cpp 這次加入 Fish Audio S2 支援,也加入聲音複製功能。更新內容還提到改用新的 batch API;簡單來說,這次更新讓 llama.cpp 多了支援這款音訊模型和複製聲音的能力。
llama.cpp 的 b12449 更新調整了 --tensor-split 和 --fit-target,讓這兩項設定最多可以列出與裝置數量上限相同的設定組數。這次更新也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等系統的建置專案,涵蓋 CPU、GPU 與 NPU 等不同硬體選項;部分專案標示為停用。
PyTorch Inductor 原本把運算切分軸的數量寫死在三個,讓部分超過三個維度的運算無法使用這種切分方式。這次更新改用輸入資料的維度來產生軸名稱,並依設定限制可用的切分數量;區塊大小的既有規則則保留下來。這是支援更多維度切分的前置重整,後續的更新才會啟用更完整的多維切分。
推薦理由:這項重構移除 Inductor 對三個切分軸的固定限制,並保留區塊大小等既有規則,讓後續支援更多維度的切分有了基礎。
使用 WebGPU 執行模型時,可能遇到運算元不支援、運算不穩或不同 ORT 版本無法搭配的問題。ONNX Runtime WebGPU Plugin EP v0.6.0 新增多種運算支援,也改善部分運算的速度與數值穩定性,並加入設定選項和著色器快取功能。升級時要留意 ORT 版本:最低需求是 1.24.4;部分版本支援不同工作階段同時執行,其他版本則要讓同一裝置上的 WebGPU 操作依序進行。即使能同時執行,也不能在同一個工作階段重疊進行 I/O 繫結和 Run。
FlyDSL 的 TopK 程式每次掃描 256 個數字格子,原本會把整段工作一次展開,讓程式碼變大,也佔用較多晶片資源。這次修改改成逐步重複掃描,降低編譯後的資源用量;在 gfx950 的測試中,暫存器溢位從 424 次降到 0 次。45 組測試的平均速度提升 12%,最快提升 63%,最慢則慢了 2%;所有結果都和 ATen 完全相同。
llama.cpp 的 b12438 更新支援在 JSON 輸出中設定 sort_keys=true,讓鍵值依順序排列。這次也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等系統的建置版本,涵蓋不同處理器與 GPU 設定;部分版本標示為停用。
DTensor 計算 any/all 時,原本會先把所有資料分片集中起來,才能判斷結果,可能因此多做一次資料傳輸。這次修改讓每個分片先在本地計算,再把中間結果留到真的需要完整答案時才合併;例如檢查一個布林值時,會先取得所有分片的整體結果。原本的雙 GPU 測試從 any() 需要一次資料集中傳輸,變成運算當下不傳資料,取用結果時才做一次合併。這能減少不必要的 GPU 資料傳輸,讓分散式運算更有效率。
llama.cpp 的 b12420 加入對 MiniMax-M3.1 的支援,也列出 macOS、iOS、Linux、Android 和 Windows 等平臺的版本。像是 Linux 和 Windows 都有可搭配 CUDA 12、CUDA 13 或 Vulkan 使用的版本,部分平臺也提供 CPU 版本。這次更新讓使用者能在不同系統上使用 llama.cpp 執行 MiniMax-M3.1。
llama.cpp 這次加入 A7 Q6_K 非 MoE 的 OpenCL 二進位核心。這次更新也列出可下載的版本,涵蓋 macOS、iOS、Linux、Android、Windows 和 openEuler,並提供 CPU、Vulkan、CUDA、ROCm 等不同版本。簡單說,使用不同裝置的人可以依自己的系統和硬體挑選對應版本。
llama.cpp 原本還不能處理 Inkling 2,這次更新加入文字模型轉檔與推論,也支援影像模型轉檔和讀取圖片。量化權重會分批處理,避免轉檔時一次展開整層資料;測試中的合成權重解碼結果和 vLLM 一致,CPU 推論結果也符合發布說明列出的誤差範圍。不過,Inkling 2 的真實模型檔尚未完成轉檔測試。
推薦理由:這次更新補上 Inkling 2 文字與影像支援,也說明量化權重分塊處理的記憶體需求與測試結果。
llama.cpp 的 b12403 加入 Hexagon 的 TIMESTEP_EMBEDDING HVX 核心,並調整相關程式,加入 DMA、工作切分與追蹤功能,也放寬 cont_rows 的條件。這次也新增涵蓋 WAN2.2 的測試案例。發布頁列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等平臺的建置專案;部分專案標示為停用。
llama.cpp 的 CUDA softmax 原本需要多次到記憶體搬資料,拖慢運算。這次修改會在欄位資料放得下時,先把資料留在暫存器裡處理,讓記憶體讀取次數從 5 次降到 2 次,減少資料搬動。這項調整的重點是讓 softmax 運算少花時間在讀寫資料上。
llama.cpp 的 b12389 修正了 OpenCL 執行時的幾個問題,包括讀寫超出範圍、資料複製時沒有配合目的地的排列方式,以及處理多批資料和 bf16 數值時的錯誤。像是 f16 SwiGLU 運算原本可能寫到不該碰的地方,這次也一併修好。這些修改能讓相關運算更可靠;更新也提供多種作業系統和硬體平臺的版本。
PyTorch Inductor 把某些運算改成可修改資料的版本時,過去沒有同步更新相關資料,可能讓後續運算誤判資料的排列方式;遇到特定的 all-reduce 運算時,甚至會算出錯誤結果。這次修正會在每次改寫後,立刻更新受影響的資料和連結;如果無法安全更新,就保留原本的運算。像矩陣相乘後轉置再做 all-reduce,修正前結果錯誤,修正後結果正確,讓圖中的資料關係和實際運算保持一致。
PyTorch 的 C++ FakeTensor 遇到某些運算時,需要知道結果的形狀和資料型態,卻不必真的執行運算。這次修改讓它在完成拆解後,直接呼叫對應的 prim 中繼資料實作來產生假結果;如果選中的實作回報「不支援」,就直接報錯,不再悄悄改走其他路徑。像是建立空張量、算術運算和轉換資料型態都納入測試。這讓 C++ 模式能沿用這些運算的結果資訊,也能避免錯誤被其他路徑掩蓋;隨機數相關運算則因為還需要處理張量,暫時不做這項改動。
PyTorch 的 AOT 執行時包裝程式和 Dynamo 互相匯入時,可能讓 Dynamo 還沒準備好就被其他程式使用,之後呼叫 torch.compile 便可能失敗。這次修改把部分匯入延後到擷取反向計算圖時才進行,避免兩邊卡在彼此載入的狀況,也不改變反向計算。維護者用新的程式執行環境重現並檢查這個問題,確認修正後能順利匯入;CUDA 和完整的 PhysicsNeMo 流程則沒有測試。
llama.cpp 重新整理 DFlash 家族的推測解碼程式,讓不同草稿模型各自使用對應的讀取和執行方式。新增的 draft-dflash2 和 draft-lilicorr 可指定 DFlash2 與 LiliCorr;原有的 draft-dflash 也會依草稿模型的資料自動選擇 DFlash、DFlash2 或 LiliCorr。若型別和模型不相符,或同一次執行混用多種 DFlash 家族型別,系統會拒絕開始推測解碼。這次整理也讓 DSpark 使用自己的讀取方式,並把共用的程式拆分整理。
Next.js 的 canary 版本更新了多項建置和開發功能,涵蓋 Turbopack、路由預先載入與錯誤回報。這次更新預設啟用 Turbopack 的分塊前縮小程式碼功能和記憶體回收,也調整使用者端參照清單,並修正開發伺服器的路由處理與結束方式。這些改動主要影響使用 Next.js canary 版的開發者。
llama.cpp 這次更新讓 Hexagon 能處理 IQ2_XXS 和 NVFP4 兩種資料格式,也加入對應的運算路徑,並修正 IQ2_XXS 在 fp16 下計算縮放值時可能過小的問題。簡單來說,這能讓使用 Hexagon 的裝置執行這些格式的模型運算;更新也列出多種系統與硬體平臺的版本。
Python 字典的專案順序、實際型別或長度改變時,PyTorch Dynamo 可能需要重新檢查原本建立的運算圖。這項修改會記住這些字典資訊;如果呼叫函式時,關鍵字的順序不影響結果,就能沿用原本的運算圖。遇到無法確定的情況,仍會保守檢查順序。這次修改只處理字典檢查,沒有更動公開介面;它也通過部分 Python 3.15.2 CPU 測試,但其他平臺和環境的測試仍有未完成專案。
PyTorch Inductor 原本把切分軸的數量寫死,讓點狀運算難以使用超過三個維度。這次改動改用輸入資料的維度來產生軸名稱,並依設定和區塊限制選擇切分方式,也整理了相關的自動調整與描述資料處理。改動本身是後續支援更多維度切分的準備;發布紀錄列出的測試涵蓋多種軸數、描述資料和區塊指標情況。
推薦理由:這次改動移除 Inductor 對切分軸數量的固定限制,也整理了區塊大小的選擇方式,可瞭解後續支援更多維度切分的基礎。
PyTorch Inductor 原本把分塊處理寫死為最多三個方向,讓超過三個方向的運算無法使用更多分塊方式。這次修改改成依照輸入資料的方向數自動產生名稱,並由設定決定分塊數量;例如,系統可處理四個方向的點對點運算,也能搭配不同方向的資料縮減。這讓後續支援更多方向的分塊有了基礎,也保留原有的區塊大小限制。
這次更新讓 llama.cpp 能在 Hexagon 上執行 SSM_SCAN 運算,也加入 HMX 支援,並調整資料搬運流程,減少運算時的停頓。更新還改善了多裝置分工方式。簡單說,這些改動是為了讓搭載 Hexagon 的裝置能處理更多運算,並讓運算流程跑得更順。
推薦理由:Baseten 公開這套以 Rust 和 CUDA 從頭打造的推論引擎,並列出不同 B300 配置下的解碼速度與 1M-token 預填時間。
AI 助理需要瀏覽網頁時,完整瀏覽器會使用較多 CPU 和記憶體。Cloudflare 現在把 Kitesurf 的程式碼放上 GitHub,開發者可以在自己的電腦執行、修改,再部署到自己的 Cloudflare 帳戶。Kitesurf 能載入網頁、執行 JavaScript,並支援 Chrome DevTools Protocol,因此可連線 Puppeteer 等工具。自架部署需要 Workers Paid 方案,因為它會為網頁建立隔離的 Workers。
推薦理由:Kitesurf 開源後,開發者能自行閱讀、修改並部署瀏覽器引擎;文章也說明瞭本機試用方式與自架時的方案要求。
llama.cpp 的 b12366 加入 BF16 格式的 RMS_NORM 支援,適用於 CPU 和 CUDA;CUDA 也改成共用同一個輔助程式來啟動 F32 與 BF16 版本。這次更新的重點是補上這項運算支援,沒有提供效能提升幅度等資訊。
llama.cpp 的 p_min 設定會丟掉信心分數太低的草稿 token,但這些 token 有時仍可能被正式模型接受。這次更新保留原本的篩選方式,並在同時使用 --spec-draft-p-min 和機率式草稿取樣時顯示提醒,建議把 p_min 設為 0。這項提醒只會出現在有使用 p_min 的草稿方式;n-gram 草稿不使用它,DSpark 則把它拿來設定信心門檻。