llama.cpp 修正 F32 卷積走較慢路徑的問題
llama.cpp 的 F32 卷積原本會走比較慢的做法,通道數多時尤其明顯。這次更新會先把 F32 卷積用的資料轉成 F16,再改走較快的運算路徑,最後仍用 F32 累加結果。簡單說,就像先把材料換成方便處理的形式來加快工作,算出的結果仍用 F32 累加。
llama.cpp 的 F32 卷積原本會走比較慢的做法,通道數多時尤其明顯。這次更新會先把 F32 卷積用的資料轉成 F16,再改走較快的運算路徑,最後仍用 F32 累加結果。簡單說,就像先把材料換成方便處理的形式來加快工作,算出的結果仍用 F32 累加。
llama.cpp 這次更新加入一種新的運算程式,讓 OpenCL 能處理 A7 Q5_K 格式,而且這種程式不使用 MoE。簡單說,它就像替特定格式的資料準備一條新的處理路線。發布頁也列出 macOS、iOS、Linux、Android 和 Windows 等平臺的版本資訊;這次更新的重點,是讓 llama.cpp 多了一種可用的運算方式。
llama.cpp 新增 Qwen3-TTS 的 ICL/參考音訊模式,並修正把轉錄文字附加到圖片資料時的正確性問題。這次更新也列出多種系統與硬體版本的下載專案;最主要的改變,是 llama.cpp 現在支援這項 Qwen3-TTS 模式。
開發應用時,團隊常得在共用測試資料庫和替每位開發者複製一份資料之間取捨;把湖倉資料送進應用,也常要另外建同步流程。Databricks 分享 11 個客戶團隊如何用 Lakebase 嘗試解決這些問題:資料庫分支能快速建立測試環境,修改不會直接影響正式資料;同步功能則讓湖倉資料供應應用查詢,也能把資料庫變更送回湖倉。像 Lyft 的團隊讓 AI 助理在資料庫分支上測試客服處理方式,再讀取資料庫的實際結果調整。這些案例展示 Lakebase 如何支援應用開發、搜尋和即時機器學習。
更新修正了 llama.cpp 轉換 Qwen4exp 模型檔時,FP8 n-gram 表格的縮放設定與區塊縮放權重處理問題,也補上從 ModelOpt 模型檔還原區塊縮放權重的處理。這讓相關模型檔能更正確地轉換;更新也列出 macOS、Linux、Android、Windows 等平臺的下載版本。
Llama Chat 原本把不少介面元件、顏色設定和字型留在自己的程式碼裡,與共用版本重複維護。這次 b12480 把這些內容整理進新的 @ggml-org/llama-ui 套件,聊天介面改從套件取用元件、模型資訊和樣式,建置流程也會在函式庫內容變動時重新建置。更新還修正子選單被選單邊界裁切,以及切換對話時可能把回覆節點寫到錯誤對話的問題。
把 AI 助理接上 WhatsApp,麻煩的地方常是訊息格式、圖片和語音處理、對話記憶與提醒排程。AWS 的開源工具 SMART 提供 Python SDK 和 Terraform 設定,讓開發者把重心放在 AI 助理的提示詞、工具和商業邏輯,並由 SMART 處理通道工作。文章也示範如何在本機先試跑,再部署到 AWS;若訊息是在對方最後發言超過 24 小時後送出,就必須使用 Meta 預先核准的範本。文中提醒,這是供非正式上線用途的範例程式,部署前仍要符合自己的安全與法規要求。
推薦理由:文章整理 WhatsApp 串接時常見的訊息、媒體、記憶與排程工作,並展示 SMART 如何把這些通道功能交給現成工具處理。
AI 助理如果綁在單一程式裡,關掉視窗或換裝置時,工作就難以接續;每個應用程式各自串接,也讓開發者不容易把 AI 助理帶進自己的工具。GitHub 說明 Agent Host Protocol(AHP)如何讓 VS Code、GitHub Copilot app 和其他使用者端共用工作階段、歷史紀錄與狀態。使用者端送出操作後,由伺服器更新狀態;遇到網路中斷時,使用者端可以重新送出排隊中的操作,等伺服器確認。VS Code 和 GitHub 也用不同語言各自實作主機,藉此找出協定需要補足的地方。
推薦理由:AHP以獨立協定連線不同裝置與兩種獨立實作,文中也整理了跨網路中斷、重連與功能差異時的設計取捨。
推薦理由:vLLM-Omni 支援 AURA 2.0,並公佈單一連線設定下的首段語音延遲與四項基準比較,可瞭解這套視訊模型的互動方式與執行表現。
AI 助理要操作電腦或接上創作軟體,常得另外處理許可權和連線。Unsloth 0.1.919-beta 加入測試版電腦操作,讓本機視覺模型或已連線的服務檢視螢幕、控制滑鼠和鍵盤;第一次操作、切換應用程式和部分可能有風險的動作都要先核准,也能隨時接手。更新還能透過 MCP 連線 Unity、Unreal Engine、Godot、Blender 和 Roblox。MiniMax-H3-Image 新增多種硬體支援與 LoRA 訓練;原文表示,在 A100 80GB 上解碼 2048px 圖片從 2.82 秒縮短到 0.28 秒。
推薦理由:這次更新把螢幕操作、創作軟體連線和本機圖片模型支援放進同一套工具,能看出 Unsloth 正擴大本機 AI 助理的使用範圍。
開發者發現 Dynamo 在處理只有一行的函式或類別時,會因為沒有「縮排結束」的標記,導致名稱快取沒被清除,後面的程式碼會被誤判成屬於前一個名稱(例如 def f(): 內的 return 1 被記成 E.f)。這次的修正在偵測到新行後,如果下一個重要符號不是縮排,就把那個名稱的作用域移除,同時保留原本的名稱本身,並正確忽略註解與空白行。開發團隊也加了回歸測試,確保單行函式、類別、疊加定義、裝飾器等情況都能正常運作。這樣一來,Dynamo 的程式分析就不會再因為單行定義而產生錯誤的名稱標記。
llama.cpp 的 b12458 加入對 YuE2-3B 的支援,並調整音訊生成流程,包括加快速度、修正串流處理,還能從 API 控制 CFG。這次也修正多個伺服器工作槽同時處理請求時,可能拿到其他序列分數的問題,並調整計算步驟,讓部分運算更容易合併執行。更新提供多種系統版本,涵蓋 macOS、Linux、Android、Windows 和 openEuler。
PyTorch Inductor 原本把平鋪運算的座標軸寫死,超過三個維度時就需要先改掉這些限制。這次更新改成依輸入維度產生座標軸名稱,並依設定限制可用的平鋪數量,也整理了區塊大小選擇、描述子和指標位移的處理方式。作者測試了不同維度、座標軸排序及多種描述子情境;不過,這項改動本身是後續支援多維平鋪的基礎,啟用額外維度的程式在另一個後續變更中。
PyTorch Inductor 原本把可切分的軸寫死,最多隻能處理三個軸,讓更高維度的切分不容易加入。這次改動改成依輸入資料的維度產生軸名稱,並依設定限制挑選切分方式,也調整了自動調校和資料描述子的處理。它為後續支援更多維度的點元素與歸約切分打下基礎;原有的區塊大小限制仍保留。作者也回報了多組主機與 Hopper 測試結果。
llama.cpp 的 b12443 修正了 Nvidia 顯示卡使用 Vulkan 時,FP32 快速注意力功能可能讓共享記憶體用量超出上限的問題。如果暫存資料需要佔用太多記憶體,程式也會停用這種暫存方式。這次版本還列出多種作業系統與硬體的下載專案,例如 Linux、Windows、macOS、Android,以及使用 CPU、CUDA、Vulkan 等方式的版本。
同一個聊天模型可能由多家服務商提供,遇到速度變慢或故障時,請求也可能卡住。現在 Hugging Face Inference Providers 透過 OpenRouter 為聊天模型挑選服務商,會依即時價格、速度和可靠度分流,服務商出錯時也會在同一次呼叫中改試其他家;原有的 Hugging Face 權杖和程式碼仍可使用。OpenRouter 的測試中,容量錯誤減少 46%、第一個 token 到達時間快 16.9%、處理量增加 16.3%,每次請求成本則高出 6.0%。開發者也能把請求與回答紀錄存進自己的 Hugging Face Storage Bucket,供日後評估或微調模型;圖片和其他媒體不會存入。
推薦理由:這次整合把模型路由和請求紀錄接到同一套工作流程,並提供價格、速度與可靠度的取捨資訊,方便開發者依需求選擇服務提供者。
AI 程式助理每次開始工作,都可能重新摸索熟悉的專案、載入用不到的工具,或一再卡在同一個錯誤,讓使用者花更多模型費用。TokenEconomizer 是開源外掛,會從每次工作紀錄整理出專案筆記、移除較少用到的工具,並在助理反覆遇到同一個問題時提醒它換個做法;之後也會依新經驗修正這些判斷。研究用五種 AI 助理與模型組合測試 277 個修 bug 任務,平均花費降低 18.4–30.9%,任務成功率大致維持穩定。剛開始累積經驗時,前幾個任務可能較花錢,但每個測試專案到第六個任務時,累計花費都已低於原本做法。
推薦理由:研究比較五種 AI 助理與模型組合,顯示記住各專案的工作經驗能降低後續修程式的花費,且任務成功率大致維持穩定。
使用開放權重模型時,同一個模型可能由不同服務供應商提供,速度、價格和穩定度也不一樣。Hugging Face 現在透過 OpenRouter 處理語言模型請求,依即時價格、速度與可靠度挑選供應商;遇到錯誤時,還會在同一次請求中改試其他供應商,程式碼不用更動。文章提到,新路由讓容量錯誤減少 46%,首次收到模型輸出的時間改善 16.9%。切換後,語言模型請求會向 Hugging Face 帳戶或組織請款,不能再使用自己的供應商 API 金鑰;圖片、影片和音訊生成則維持原本方式。
推薦理由:Hugging Face 改用 OpenRouter 替語言模型挑選服務供應商,文中比較了價格、速度與可靠性,也列出路由改善幅度和切換後的金鑰限制。
PyTorch 這次更新替 lu_factor 做了效能改善,目標是一次處理多個矩形矩陣時,讓運算跑得更快。發布資訊沒有說明提升多少,也沒有列出其他細節;可以確認的是,這項更新針對批次矩形矩陣的處理效能。
每次請求都重送很長的背景資料,會增加處理時間和輸入費用。Amazon Bedrock 的開放權重模型現在支援明確提示詞快取,開發者可以標出要重複使用的內容,讓後續請求直接讀取快取;也能使用自動快取,或同時使用兩種方式。文章用產品手冊問答和 OpenCode 寫程式的例子,示範如何檢視快取讀取與寫入用量。把不常變的指示和參考資料放在前面,有助於重複使用;實際支援方式、最低長度和儲存時間則依模型而異。
推薦理由:文章比較自動與手動標記快取字首的做法,並示範如何檢視讀寫用量,方便估算重複使用長提示詞時的費用與延遲變化。
模型要幫忙操作電腦或創作工具,得先看得到畫面,也要能和其他程式互動。Unsloth Studio 的 v0.1.918-beta 加入測試版電腦操作功能,支援 macOS、Windows 和 Linux;模型可檢視螢幕、控制滑鼠與鍵盤,但首次操作、切換應用程式和可能有風險的動作需要先核准,使用者也能隨時接手。更新也能透過 MCP 連線 Unity、Unreal Engine、Godot、Blender、Figma 和 Roblox,其中 Figma 只能讀取。此外,MiniMax-H3-Image 新增 GGUF、FP8、INT8 和 LoRA 訓練支援,長對話也能自動整理,減少舊訊息遺失。
推薦理由:電腦操作功能可讓模型檢視畫面並控制滑鼠鍵盤,首次操作與可能有風險的動作都需先核准,呈現了這項功能的使用界線。
llama.cpp 的 WebGPU 版在處理多個注意力頭各自使用遮罩時,會漏算遮罩對應的頭,讓結果出錯。這次更新修正遮罩位置的計算,也調整記憶體估算方式,避免部分 K、V 資料格式組合超出工作群組的儲存空間限制。使用多頭遮罩時,計算結果因此能更正確;更新也列出 macOS、Linux、Android 和 Windows 等平臺的建置版本。
更新 tauri-bundler v2.10.5 後,Windows 安裝程式會在許可權不足、系統帳號或特定資料夾位置時顯示更清楚的錯誤,並修正程式簽章失敗,以及 MSI 更新時把使用者刪掉的桌面捷徑加回來的問題。這次也修好 NSIS 的波斯文和希伯來文顯示、Linux 和 macOS 重複下載工具,以及 RPM 套件無法處理 beta 版本等狀況,讓不同系統上的安裝與打包流程更順利。
更新推論服務工具時,新功能可能讓原本的設定失效,也會改變模型能使用的 GPU 記憶體。vLLM 0.34.0 加入 10 種模型,並預設依暖機後實際空出的記憶體配置 KV cache;以 MiniMax-M3 在 H200 上為例,可容納的 token 從 433k 增至 672k,高並行時吞吐量也會提高,但部分模型每個 token 的生成延遲可能增加。這版也移除 Model Runner V1,只保留 V2,並把預設 block size 從 16 改為 64。升級前要檢查舊設定:例如通常不必再設定 gpu_memory_utilization,若要維持舊行為則可明確指定 block size 16。
推薦理由:vLLM 0.34.0 同時調整 KV cache 預設與 GPU 執行器,並列出升級時可能打斷既有設定的變更,方便部署者評估更新影響。
Browser Use 1.0.6 把預設模型從 bu-fast 換成 BU 4.0,使用 Agent(task) 或 ChatBrowserUse() 時都會改用 bu-4.0。BU 4.0 的 token 費用是 bu-fast 的 15 倍:每 1M 輸入 token 要 $1.80、輸出 token 要 $9.00;文中一個簡短測試任務的費用,也從 $0.0014 變成 $0.022。簡單任務可指定 llm='bu-4.0-mini',困難任務可指定 llm='bu-4.0-pro';想維持原本模型和價格,則指定 llm='bu-fast'。
AI 助理處理長任務時,每一步都會帶上先前的對話與工具結果;如果每次都重新讀完整份內容,等待時間和成本會一路增加。Ollama 和 Together AI 說明,前面讀過的內容可以先存在快取裡,下一次只處理新增部分。要讓快取派上用場,工具說明和系統提示詞要盡量保持不變,工具結果也要避免塞入不必要的大量內容;推理程度最好從一開始就固定。引擎還得把後續請求送回存有快取的機器,並在等待工具執行時妥善儲存快取。這些做法能減少重複處理,讓長工作流程更順暢。
推薦理由:文章從提示詞安排與 GPU 快取兩端說明長任務為何會變慢,並整理維持快取的做法,適合用來改善 AI 助理的工作流程。