llama.cpp 更新 b12634,讓裸 JSON 工具呼叫也能觸發文法檢查
有些模型會直接輸出像 {"name": ...} 這樣的工具呼叫內容,前面沒有另外的起始標記;使用 tool_choice=auto 時,llama.cpp 因此不會產生文法。這次更新改成看到工具呼叫物件的開頭就觸發文法,讓這種沒有起始標記的 JSON 工具呼叫也能套用文法。
有些模型會直接輸出像 {"name": ...} 這樣的工具呼叫內容,前面沒有另外的起始標記;使用 tool_choice=auto 時,llama.cpp 因此不會產生文法。這次更新改成看到工具呼叫物件的開頭就觸發文法,讓這種沒有起始標記的 JSON 工具呼叫也能套用文法。
Redis 8.12 正式推出,這次更新加入多種資料操作功能,也改善部分記憶體用量與查詢處理。大型排序集合改用新的 B+ tree 編碼,可大幅減少記憶體用量;壓縮點陣圖則整合進 Redis 核心,讓點陣圖操作更省記憶體、速度更快。集合中的個別成員現在也能設定到期時間,並查詢剩餘時間或移除到期設定。此外,更新加入多個排序集合移動指令,並修正複寫、點陣圖計數與 JSON 陣列插入等問題。
推薦理由:Redis 8.12 把集合成員到期時間、壓縮點陣圖等能力加入核心,能看出這次更新如何同時處理記憶體用量與資料操作需求。
llama.cpp 這次更新替 Adreno 850 加入多種資料格式的矩陣運算功能,涵蓋 Q4_0、Q5_0、Q8_0、Q4_K、Q5_K 和 Q6_K。簡單說,這讓使用 Adreno 850 的裝置能用這些格式進行矩陣計算;更新內容也列出多種系統與硬體版本的下載專案。
使用 Browser Use 時,可能會遇到密碼被印出來、連上瀏覽器卻開了空白分頁,或餘額不夠而讓工作中斷。Browser Use 1.0.8 做了幾項修正:不再印出密碼欄位的內容;連線時會接上已開啟的分頁;透過 SSH 或沒有螢幕的電腦操作時,可以用連結和驗證碼在其他裝置核准。模型在最後一步拒絕照指定方式回答時,也會再試一次,讓工作有機會拿到答案。呼叫服務時預留的輸出 token 從 32,768 降為 16,384,較小的餘額比較不會在執行途中遭到拒絕。
llama.cpp 的伺服器新增了在單一 ubatch 中處理非因果批次的功能。這次更新也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等平臺的版本與建置專案,涵蓋 CPU、GPU 和多種運算環境;部分專案標示為停用。
llama.cpp 的 b12622 版本會自動處理 .scale 張量,並修正相關正確性問題。更新也調整了部分模型運算程式碼,並修正 CI 建置。此版本提供 macOS、iOS、Linux、Android、Windows 和 openEuler 等平臺的版本,部分版本支援 CUDA、Vulkan 等運算方式。
處理影片影格時,轉置卷積可能花上不少時間。llama.cpp 的 b12621 更新縮小了 SYCL 轉置卷積每次要讀取的輸入範圍;在文中列出的測試中,部分運算快了 2.90 到 710.23 倍。測試輸出與舊版逐位元相同,相關運算元測試也全部通過。不過,這些數字是單一核心運算的測試結果,不能直接當成整體語音生成速度的提升。
llama.cpp 的這次更新加入一種 SYCL 運算核心,能把 gated_delta_net 的工作分成區塊處理。更新頁也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等平臺的建置專案,涵蓋 CPU、GPU 與 NPU 等不同硬體環境;部分專案標示為停用。這讓使用者能看出更新支援哪些平臺與運算方式,但頁面沒有進一步說明這項新核心的效能差異。
要在 Transformers 裡使用新模型,或讓不同模型共用一套程式,開發者常得處理各自不同的介面。v5.24.0 加入 Inkling 2 Mini、Apertus 1.5、Dory 和 Omnilingual ASR 等模型支援,也把原本依模型而異的 past_key_values 和 cache_params 統一改叫 cache;舊名稱目前仍可使用,但會出現棄用提醒。這次更新也修正了文字串流在中文、日文和韓文內容中可能漏空格或變慢的問題。
推薦理由:Transformers v5.24.0 一次加入多種模型支援,也統一了快取名稱;更新內容能幫開發者掌握新模型接入與舊程式需要調整的地方。
推薦理由:Inkling 2 Mini 可在 16GB RAM 的裝置上執行,貼文也列出它在 DeepSWE v1.1 的成績,呈現小型模型的執行門檻與表現。
Ollama v0.40.17-rc3 加入多項更新:Claude Code 需要工具時才載入 MCP 工具;Apple silicon 上的 Ollama 現在能同時處理多個請求。更新也修正了部分顯示卡載入模型或配置記憶體失敗的問題,並讓 API 傳遞工具設定時保留原有的 JSON 格式規則。這次更新還調整了多行輸入、模型推理設定和 ChatGPT 設定檔切換等操作,讓使用過程少一些卡關。
通用模型搭配不同 AI 助理工具時,可能會多花時間和 token,解程式問題的表現也不夠好。Hugging Face 團隊把強化學習直接放進 pi、Hermes Agent 和 OpenCode 這三種工具中,分別為 Qwen3.8-27B 訓練介面卡,也把三者合併成一個版本。測試顯示,各自的專用版本在對應工具和程式開發基準上都優於原模型,完成任務時也少用工具;合併版本則能在三種工具中使用。這套流程與訓練資料也公開,讓其他人能照著調整自己的模型和任務。
推薦理由:這套流程把強化學習放進實際使用的 AI 助理工具中,並比較專用與合併介面卡的成效,可供重現與評估程式開發任務。
llama.cpp 的 MoE 快取會在每一層增加查詢空間,使用 --moe-cache-cpu-share 時還會多一條專家路徑,但程式原本預留的空間不夠。當 MoE 快取和量化 KV 快取一起使用時,部分模型會因為空間用完而中止。這次更新調整了預留空間,修正這個問題。
PyTorch 使用 MPS 做 segment_reduce 時,原本沒有這項運算的原生前向實作。這次更新加入加總、平均、最大值、最小值和乘積運算,支援 float32、float16 與 bfloat16;反向運算目前還未實作。在 M5 Pro 的測試中,使用 offsets 的多種資料形狀都有加速,依運算種類約為 13 到 101 倍;改用 lengths 時,共用前端每次呼叫會多出兩次主機同步,部分測試因此變慢。
推薦理由:這次更新提供 MPS 上 segment_reduce 前向運算的實測比較,也顯示輸入方式會大幅影響速度,評估效能時可一併留意主機同步成本。
部分 Qualcomm Adreno 顯示晶片使用的專有驅動,在程式走過不同分支後會算錯加總,讓 llama.cpp 在長提示詞後可能吐出不該有的文字。這次更新關閉該驅動的相關運算路徑,也一併停用依賴它的合併計算方式。在 Adreno 850 和 X2-90 的運算測試中,兩項測試都從未全數通過變成全數通過;Adreno 850 上的 llama 3B Q4_0 測試結果則維持不變。
ROCm 原本用 POSIX 檔案描述符,讓不同 GPU 分享可擴充套件記憶體;但每個區塊都會佔用一個描述符,數量太多時就可能分享失敗。這次 PyTorch 改用 fabric handle,讓支援 UALink 的 GPU 能交換記憶體區塊,也避開檔案描述符上限。測試中,16,384 個區塊都能完成分享;POSIX 檔案描述符方式則在系統上限較低時提早失敗。改動也繞過一個 HIP 問題:從 fabric handle 匯入的記憶體只開放 GPU 存取。測試顯示,這項改動主要改善分享的穩定性,沒有帶來明顯頻寬提升。
以前用 Kimi Code CLI 連線 Amazon Bedrock,要另外準備一組 API 金鑰,得多花心力管理。Moonshot AI 在 v2.7.0 加入原生 bedrock provider,讓 CLI 改用現有的 AWS 認證,也能選擇指定的帳號設定檔或透過 SSO 登入。以 Kimi K3.1 Pro Highspeed 為例,設定好模型後,就能在寫程式時串流接收回覆,並使用圖片輸入和工具呼叫功能。這讓連線設定更省事,但仍要妥善保護 AWS 認證,並只開放需要的許可權。
PyTorch 開源版原本還會建置舊版 ProcessGroupNCCL,這次更新把它移到內部程式碼,讓開源版的 ProcessGroupNCCL 改用 nccl2。舊版後端和部分 Python、C++ 介面也一併移除;需要使用相關 C++ 擴充功能的開發者,得改用新的 nccl2 標頭檔。直接建立 ProcessGroupNCCL 時,現在會依群組排名設定裝置並提早初始化通訊;若程式要使用其他裝置,就必須設定群組排名,或啟用延後初始化。
mlxrunner 以前會固定保留 8 GiB 記憶體給 Metal 字首紀錄,現在改看系統還剩多少空間,以及程式執行時需要多少工作空間,再決定保留多少紀錄。系統開始壓縮記憶體時,它會釋放用不到的緩衝區和較久沒用的紀錄,同時保留可重用的路徑與正在處理的請求,讓記憶體吃緊時仍能繼續處理工作。
llama.cpp 的 OpenVINO 支援在不同提示詞長度或輸出數量改變時,可能得重新編譯模型,或重用不合適的舊模型,造成速度變慢甚至執行失敗。這次更新調整 GPU 的 KV 長度、改善提示詞處理階段的模型重用方式,也讓系統確認輸出數量相符才沿用編譯結果;模型快取也會把輸出設定納入檢查。更新還修正多種模型在 GPU、NPU 和靜態形狀設定下的問題,並加入 Falcon-H1 的 OpenVINO 驗證資料。
CrewAI 1.15.44 新增一項功能,能把檔案存成有版本紀錄、可以分享的檔案。這次更新也修正多個問題,例如讓 AI 助理和團隊在流程檔案中的動作參照更正確,並限制 Pillow 開啟圖片時只接受 PNG、JPEG、GIF 和 WEBP。這些改動能讓檔案更方便儲存與分享,也改善了部分流程和圖片處理問題。
在 Apple Silicon 上執行卷積運算時,部分 GPU 運算單元可能閒置,讓某些工作跑得較慢。llama.cpp b12543 為支援 tensor API 的裝置加入新的 CONV_2D 核心,也調整工作切分方式,並改善資料位置計算;不支援 tensor API 的裝置仍使用原本的核心。發布資料列出 M5 Max 上多種輸入尺寸的測試結果,顯示部分測試的每次運算時間縮短。對超過 4 GiB 的影像資料則會改用通用核心。
推薦理由:llama.cpp 這次更新針對 Metal 上的 CONV_2D 卷積運算調整核心與工作切分方式,並提供 M5 Max 多種輸入尺寸的耗時比較,可用來瞭解效能變化。
想玩大作,卻不想先買遊戲主機或佔掉電腦空間?GeForce NOW 推出限時優惠:新會員和符合資格的升級會員,選 Performance 或 Ultimate 方案,第一個六個月期間可省 30%。服務也加入 Amazon Fire TV Stick HD、Fire TV Stick 4K Select 和 Fire TV Stick 4K(2026 model),接上相容的控制器,就能在電視上玩支援的遊戲;部分地區透過 Amazon 購買合資格方案,首月還可享 90% 折扣。 這週也有五款 Bethesda 遊戲加入 GOG 版本支援,包括 Indiana Jones and the Great Circle、Fallout 4、The Elder Scrolls V: Skyrim、DOOM 和 DOOM Eternal;已擁有這些 GOG 版本的會員,可以直接透過 GeForce NOW 遊玩,不必再買一次。整體來說,優惠讓玩家能用更多螢幕玩遊戲,也能用雲端串流省下下載和更新遊戲的時間。
llama.cpp 的 CUDA 矩陣運算在輸出非常大時,可能把寫入位置算錯,造成程式越界寫入並因非法記憶體存取中止。這次更新把相關位置計算改用能處理更大數值的 64 位元整數。舉例來說,詞彙表有 248320 個詞、輸出 16384 列時,結果會有 4.07e9 個元素,超過原本 32 位元整數能正確處理的範圍;修正後可避免這類位置計算錯誤。
使用 CPUOffloadPolicy 時,FSDP 會把引數從主記憶體搬到 GPU;如果另一段程式同時搬回啟用函式需要的資料,兩邊會搶同一條傳輸通道,引數可能因此晚到,後續工作也跟著延遲。PyTorch FSDP2 新增 get_all_gather_copy_in_stream(),讓程式等引數複製完成後再搬回啟用函式需要的資料,讓兩種工作能重疊進行。這個方法要等 FSDP 完成延遲初始化後才能呼叫;若改用目前的資料流處理引數複製,等待它就不會改變執行順序。
推薦理由:這次更新同時加入 10 個模型並調整 GPU 執行方式,還列出 Step5 NVFP4 解碼的速度資料,可用來瞭解 vLLM 的更新範圍。
這次 CrewAI 更新讓 ChromaDB 可以選擇安裝,並把預設知識資料改存到本機 Qdrant;AI 助理也能先挑選工具,之後再加入。更新還修正了多種資料處理問題,例如避免日期寫入 JSON 時出錯、正確讀取含 BOM 的 JSON 檔,以及不再漏掉串流回傳的內容。這些調整讓設定與資料讀寫更可靠,也讓使用者能依需求選擇儲存方式和工具。
語音辨識模型常要用很大的模型,才能處理多種語言和吵雜的電話錄音。Hugging Face 開源了 Rumble-2-Flash,這個 0.5B 模型支援 40 多種語言,也能自動判斷語言;它還能設定數字要寫成數字或文字,以及是否保留填充詞和重複內容。在一項 302 小時、涵蓋 14 種英語口音的客服電話測試中,它的錯誤率是 7.86%,接近 30B 的 Nemotron 3.5 Transcribe。模型可透過 Transformers、vLLM 和 Hugging Face API 使用。
推薦理由:Rumble-2-Flash 在多語言辨識與電話語音測試中,和大上許多的模型比較成績,呈現小型語音模型的實用範圍。
企業的銷售、付款和裝置讀數一直在變,等到定期報表出來才採取行動,可能已經太晚。IBM 和 Confluent 把時間序列模型放進 Confluent,讓團隊透過 Apache Flink 和 SQL,從即時資料預測需求、找出異常,也能搜尋相似的裝置訊號;模型可在雲端或企業自己的環境中用 CPU 執行。文章舉例,商店可依銷售預測安排補貨,工廠則能提早發現產品品質可能偏離目標。預測結果可提供給既有應用程式和作業流程參考,仍可搭配其他資料、規則與人工判斷。
推薦理由:文章以零售補貨與工廠品管等案例,說明如何把時間序列預測和異常訊號接進即時資料流程,協助團隊更早採取行動。
AI 助理每次要產生回覆時,常得依序啟動許多 GPU 工作;工作量小時,等待工作開始和結束也會拖慢回覆。vLLM 的 FlyDSL MonoKernels 把互相依賴的工作排進較少的 GPU 執行流程,讓部分工作可以接續進行,也能提早讀取後續需要的資料。文章列出多款模型在 AMD Instinct GPU 上的測試,並發量為 1 時,回應速度或每個輸出 token 的時間改善約 1.20× 到 2.26×。這項功能需自行開啟,適用範圍依模型、GPU 和工作量而定;並發量提高時,改善幅度通常會縮小。
推薦理由:文章比較多款模型在不同 AMD Instinct GPU 與並發量下的測試結果,也說明低並發時的延遲改善和步幅限制。
不同資料型態一起做加減時,框架需要處理多種運算組合,也得避免整數轉換出錯。PyTorch 這次把部分加減運算改成共用的 FP32 FMA CUDA 核心,涵蓋原地修改和輸出為 FP32 兩種情況,並保留涉及 FP32 的資料型態組合。更新也調整了 alpha 的轉換順序,避免整數 0、INT64_MIN 和 UINT64_MAX 遇到取負問題。測試涵蓋兩種運算模式及整數 alpha;提供的測試結果顯示,18 個 CUDA 測試案例通過,另有 1,296 組原始位元結果相符。
推薦理由:這次更新整理了混合資料型態加減運算的 CUDA 核心,並用浮點結果與整數 alpha 的測試檢查不同情況下的結果是否一致。
llama.cpp 的 b12494 加入 Kokoro 文字轉語音支援,並補上把文字轉成語音時需要的文字整理與發音處理,也調整了聊天功能和批次處理的程式。這次更新也列出多種作業系統與硬體的版本,例如 macOS、Linux、Android 和 Windows,可搭配 CPU、CUDA 或 Vulkan 等環境使用。