llama.cpp b12391 更新,支援 Ministral-3 和 Qwen3 在推理內容中呼叫工具
Ministral-3 和 Qwen3 的推理內容裡如果要呼叫工具,原本可能會遇到問題。這次 llama.cpp 更新調整了聊天功能,讓工具呼叫可以放在推理內容中,並修正相關問題。
Ministral-3 和 Qwen3 的推理內容裡如果要呼叫工具,原本可能會遇到問題。這次 llama.cpp 更新調整了聊天功能,讓工具呼叫可以放在推理內容中,並修正相關問題。
llama.cpp 的 Qwen2VL 在組合模型運算時,漏掉了幾個用來調整 FFN 權重的比例資料,導致模型算出來的結果壞掉:CUDA 上的困惑度約為 1e6,CPU 上則出現 NaN。這次修正把比例資料交給 FFN 運算,就像 Qwen2 的處理方式一樣,讓已載入的 NVFP4 設定能正確套用。
llama.cpp 的 mtmd 新增自訂影片解碼器,也調整了 wllama 的需求並清理程式碼。這次更新讓使用者能搭配自訂的影片解碼方式;發布資訊也列出 macOS、iOS、Linux、Android、Windows 和 openEuler 等平臺的建置專案。
瀏覽器自動化任務跑完後,不一定容易看出有沒有成功,也可能漏掉網站拒絕輸入或封鎖等狀況。browser-use 1.0.5 會用使用者指定的模型檢查執行紀錄、最後幾張畫面和完成後的網頁,並整理成功與否、失敗原因及需要留意的情況;例如表單要求電話號碼符合特定格式。使用者可以提供自己的判斷標準,也能關閉這項檢查。作者以 13 次實際執行、每次判斷 3 遍進行比較,網站有阻擋時,系統記下相關情況的次數由 6/15 增至 15/15;順利完成時的判斷結果則沒有改變。
llama.cpp 重新整理 DFlash 家族的推測解碼程式,讓不同草稿模型各自使用對應的讀取和執行方式。新增的 draft-dflash2 和 draft-lilicorr 可指定 DFlash2 與 LiliCorr;原有的 draft-dflash 也會依草稿模型的資料自動選擇 DFlash、DFlash2 或 LiliCorr。若型別和模型不相符,或同一次執行混用多種 DFlash 家族型別,系統會拒絕開始推測解碼。這次整理也讓 DSpark 使用自己的讀取方式,並把共用的程式拆分整理。
Next.js 的 canary 版本更新了多項建置和開發功能,涵蓋 Turbopack、路由預先載入與錯誤回報。這次更新預設啟用 Turbopack 的分塊前縮小程式碼功能和記憶體回收,也調整使用者端參照清單,並修正開發伺服器的路由處理與結束方式。這些改動主要影響使用 Next.js canary 版的開發者。
PyTorch 更新了 NCCL Extensions 的來源版本,並調整 NCCL-EP 的建置條件:沒有指定架構清單時,就不建置 NCCL-EP。更新說明也提到 NCCL-EP v0.3 已推出,加入 Vera Rubin 支援,並改善 NVLink 資料傳送與合併等功能。這次變更主要是更新 PyTorch 使用的來源版本,並讓建置依架構設定進行。
大型 MoE 模型的專家層可能超出 GPU 記憶體容量,讓模型難以執行。ONNX Runtime CUDA Plugin EP 0.4.0 新增 CPU 與 GPU 混合解除安裝功能:放得下的專家留在 GPU,其他專家改由 CPU 處理,也能在執行過程中把常用專家移到 GPU。這項功能需要搭配 ONNX Runtime 1.32.0;版本或運算元格式不相符時,可能造成執行錯誤或程式崩潰。更新也加入直接執行 GGUF 等區塊量化權重的運算元,以及長上下文和推測解碼加速。
推薦理由:這次更新把 MoE 模型的專家層分散到 CPU 與 GPU 執行,也補上多種量化格式支援,能協助評估 GPU 記憶體不足時的部署選項。
PyTorch 的這個版本加入一項與 regional-aoti 有關的變更:在模組邊界擷取區域呼叫。頁面沒有提供更多說明,無法從這段內容判斷它會怎麼運作或帶來什麼影響。
PyTorch 這次更新了 NCCL Extensions 的來源版本,也調整 NCCL-EP 的建置條件。新的版本是 NCCL-EP v0.3,加入 Vera Rubin 支援,並改善 NVLink 資料傳送與合併等功能;不過,PyTorch 只有在指定的架構清單為 sm_90 或更新架構時才會建置 NCCL-EP。這次更新也同步調整了套件來源版本,讓 PyTorch 使用新的 NCCL Extensions 版本。
NCCL 2.32.3 能替 TCP 連線加密,但 PyTorch 原本沒有設定這把金鑰的方式。這次更新讓使用者在建立 ProcessGroupNCCL 群組時設定加密金鑰,也能用環境變數提供;金鑰不會寫進記錄或除錯資料。後續群組只能沿用同一把金鑰,或不再設定,若各個運算節點的金鑰不同,連線可能卡住。這項功能需要支援 TLS 的 NCCL;不支援的版本、ROCm,以及不含 TLS 的 NCCL,會在不同階段報錯或無法啟用。
中小企業的 IT 問題常得靠外包技術人員登入各種舊網站處理;有些系統沒有 API,AI 助理也因此卡住,只能等人接手。Shield 把 GPT‑6 Astra 接進 Forge,讓 AI 助理像技術人員一樣看著畫面操作,在支援的工作中登入入口網站、處理工單、裝置或軟體授權。哪些動作能自動做、哪些要由技術人員檢查或核准,仍由技術人員決定。 Shield 表示,這些流程每月已執行數千次,GPT‑6 Astra 平均比他們先前使用的模型快 35–40%,使用 AI 的工單也有較高的客戶滿意度。不過,電話、到府服務和遠端桌面工作仍需要人員參與;Shield 正在測試讓 AI 助理直接操作電腦桌面的流程。
PyTorch Inductor 原本把切分軸的數量寫死,讓點狀運算難以使用超過三個維度。這次改動改用輸入資料的維度來產生軸名稱,並依設定和區塊限制選擇切分方式,也整理了相關的自動調整與描述資料處理。改動本身是後續支援更多維度切分的準備;發布紀錄列出的測試涵蓋多種軸數、描述資料和區塊指標情況。
推薦理由:這次改動移除 Inductor 對切分軸數量的固定限制,也整理了區塊大小的選擇方式,可瞭解後續支援更多維度切分的基礎。
安裝團隊的私有 npm 套件時,AI 助理需要憑證,但憑證不該直接交給它。Vercel Sandbox 現在可以使用存放在團隊共用環境變數中的 npm 憑證,也支援 GitHub Packages 和 JFrog Artifactory 等自訂套件庫。建立沙盒時加入 credentials: { npm: true },防火牆就會替送往套件庫的安裝請求加上驗證,憑證則留在沙盒外。這讓 AI 助理能安裝所需套件,同時不必看到憑證。使用前需更新 Sandbox SDK 或 CLI。
團隊使用 AI 助理寫程式時,可能需要切換不同模型或工具。Vercel 的 Token Pass 現在加入 Moonshot AI 的 Kimi K3.1 Pro,可用於寫程式和 AI 助理工作流程,也支援看圖、使用工具,並提供 1M 上下文視窗。這項早期訂閱每隊每月 $30,會提供每月 $80 額度,可用於連線 AI Gateway 的程式開發工具或用 AI SDK 建立的 AI 助理;透過 Token Pass 處理的請求不會保留資料。
推薦理由:Token Pass 把 Kimi K3.1 Pro 加入團隊訂閱,並列出月費、可用額度與資料保留方式,方便評估是否符合開發需求。
Vercel Token Pass 每月收費 $30,現在提供的代幣額度從 $80 提高到 $150,可用於透過 AI Gateway 提供的指定開放權重模型。額度會在每個計費週期重設,不能累積到下個月;用完後,使用一般 AI Gateway 金鑰或 OIDC 權杖的請求會改用團隊的 AI Gateway 餘額,使用 Token Pass 專用金鑰的請求則會停止,也不會產生超額費用。這項加購服務目前開放給 Pro 團隊,名額有限,額滿後會列入候補。
推薦理由:每月抵用額從 $80 提高到 $150,費用維持 $30;用量到期後,不同金鑰的處理方式也有所不同。
背景工作程式出了狀況時,開發者需要檢視它做了哪些事,才能和專案其他追蹤資料一起排查。Vercel Daemons 現在可把 OpenTelemetry 追蹤資料送到 Vercel Tracing;Node.js Daemons 使用 @vercel/otel 2.3.0 以上版本和預設設定,就能自動送出追蹤資料。之後可透過 Vercel CLI 按服務名稱搜尋,並以 JSON 取得結果,讓開發者和 AI 助理檢視背景工作的執行情況。
推薦理由:Baseten 公開這套以 Rust 和 CUDA 從頭打造的推論引擎,並列出不同 B300 配置下的解碼速度與 1M-token 預填時間。
Claude Code v2.1.325 修補了 zstd 壓縮回應的解碼安全問題,也調整多種許可權和沙箱規則。部分複合 Bash 指令現在會先要求許可;沙箱中的指令預設也會走一般的許可權流程,若要擴音示執行,可設定 sandbox.autoAllowBashIfSandboxed: true。更新還修正登入、工作階段、MCP 工具和 VS Code 整合等問題,並加強外掛安裝時的安全提醒。
團隊想用 AI 做廣告,常會遇到品牌風格不一致、工具彼此不相通,或是工具太難用的問題。ElevenCreative 推出 Forward Deployed Creatives,由創意製作人和策略人員先了解品牌與團隊的工作方式,再一起建立廣告工作流程、製作素材並訓練團隊;也可以直接接下需求,完成廣告讓團隊審核。像是要把廣告改成不同市場適用的版本,受過訓練的語言工作者和音訊專業人員會檢查文字與聲音。品牌可以依需求選擇自己製作、和團隊一起建立流程,或交由這些創意人員從策略做到完成廣告。
瀏覽器任務常會留下大量截圖;每次新增截圖都整理舊資料,可能讓模型無法重用先前處理過的內容,增加輸入費用。Browser Use 1.0.4 改為累積到 20 個帶有截圖的工具結果後,再一次清除舊截圖。BU Bench v2.1 測試 200 項任務,分數與 1.0.3 接近,平均每項任務的模型費用從 $0.434 降至 $0.208。這版也讓 BU_NAME 呼叫者在無法使用 Chrome 時改用各自的 Chromium,並在某些瀏覽器設定錯誤可能透過新版修正時,提示升級。
研究和工程工作常要處理大量資料、反覆試錯,還得確認每一步都正確。Google 在 Antigravity 開放 /teamwork 和 /boost,讓多個 AI 助理分工探索,再用 Lean 4、軟體測試或硬體量測檢查結果。Google 分享的案例包括協助研究者完成數學證明、找出分子結構,以及改寫系統程式;研究者仍負責提出問題和確認成果。學術研究者也可申請六個月免費使用最高用量方案。
推薦理由:Google展示 /teamwork 如何把長時間研究拆成多個可檢查的步驟,並用形式驗證、測試與硬體量測篩選結果,呈現多 AI 助理協作的實際做法。
以前,GitHub 儲存庫必須先連結 Vercel 專案,才能使用 Vercel Security Review 檢查程式碼。現在,只要 Vercel GitHub App 能存取該儲存庫,推送程式碼變更時就會自動檢查漏洞,不需要先建立專案或部署。預設會涵蓋已連線帳號中所有未連結的儲存庫,也能在設定中挑選要檢查的帳號或儲存庫;若儲存庫連結了已啟用檢查的專案,檢查時還會參考專案與部署資訊。
瀏覽器操作留下太多截圖時,逐張清除會改動先前的訊息,讓提示詞快取失效,增加輸入成本。Browser Use 1.0.4rc1 改成累積到 20 個工具結果帶有截圖後,再一次清除舊截圖。原文舉例,BU Bench 1.0.3 有一項 705 步的任務讀取了 27.8M 個輸入 token,其中 1.6M 個來自快取;這次調整是為了減少清除截圖對快取的影響。更新也讓 BU_NAME 呼叫者在無法使用 Chrome 時各自取得 Chromium,並在瀏覽器設定錯誤可能由新版修正時,由 CLI 和 MCP 提醒 AI 助理升級。
XPU 裝置原本需要把 SYCL 的裝置編號換成另一個編號,傳給 DLPack 時才會對得上 PyTorch;這次 PyTorch 改成直接使用 PyTorch 自己的裝置編號,做法和 CUDA 一樣。以 xpu:0、xpu:3、xpu:7 為例,修改前傳出的編號是 9、12、16,修改後變成 0、3、7。這項改動也讓原本會失敗的 managed_tensor_allocator 搭配 kDLOneAPI、data=NULL 情況順利運作。
Vercel 的建置機器現在最多能保留 5 GB 的建置快取。你可以把已安裝的依賴套件和框架檔案留著,下次部署時重複使用,減少安裝和建置程式所花的時間。以前,快取超過各方案的上限就會被清掉,下一次建置得重新準備;現在這項調整會自動套用到所有建置機器型別,不用另外設定,也不會額外收費。
Vercel Sandbox 在華盛頓特區以外的地區,若能從附近的快取讀取重複使用的映像檔,啟動速度最高可提升 4 倍,因為不必每次都跑到華盛頓特區的儲存位置拿資料。這項功能適用於 Vercel Container Registry 裡的代管映像檔、自訂映像檔,以及以它們為基礎建立的快照。內部測試中,巴黎的啟動時間約縮短 75%;首爾則從約 3.5 秒降到 1.05 秒。離原本儲存位置較近的地區,改善幅度通常較小。
線上服務發現資安漏洞時,團隊得趕快修補,卻不能讓服務中斷,還得查清楚問題在哪、該怎麼修、要交給誰處理。Wiz Green Agent 會沿著攻擊路徑逐步檢查:這次它發現公開網站連著有漏洞的容器,容器還能讀取雲端儲存空間裡的個資。直接關掉網站會讓正式服務停擺,因此它找出能先切斷雲端存取的做法,再追到程式碼裡的永久修補方式和負責工程師。整個調查只花幾分鐘,讓團隊能先降低風險,再安排完整修補,同時顧到服務運作。
查公司、產品或政策等常變動的資訊時,舊資料可能讓判斷出錯。Vercel AI Gateway 現在提供 Parallel 的 Parallel Decisions Fast,可搜尋即時網頁,回答問題時附上機率、來源網址和證據摘錄,並免費提供至 2026-11-23。你可以問是非題、讓它從指定選項中挑選,或依照設定好的標準評分;同一個請求中的相關問題也能共用搜尋到的資料。應用程式可依機率門檻自動處理高把握的結果,把不確定的結果交給人檢查,請求也會和其他模型請求一起記錄用量與費用。
女性創辦人常遇到資金少、曝光也少的困難:全女性團隊拿到的創投資金約佔 2.3%,想創業的人也較少有成功女性可以參考。Oxford Saïd Business School 多年來訪問女性創辦人,整理她們募資、承擔風險和經營公司的經驗,現在把這些研究做成 SOFIA for Business,讓人能直接和它對話、向受訪者的經驗學習。SOFIA 也會訪問創辦人;得到同意後,對話內容會加入研究,讓這份經驗持續累積。
AI 助理和背景工作常要跑很久,途中還會經過佇列、傳送大量資料,遇到故障也得接著執行。Vercel 推出 Workflow SDK 5,會在資料離開程式前加密工作內容,也把工作流程的資料放在啟動它的區域,減少跨區傳送。Vercel 公佈的測試中,1,020 個步驟的流程從 21 分鐘縮短到 3 分鐘;串流回應送達時間也從 226.1 秒降到 53.5 秒。這些數字來自特定工作和區域,其他應用的結果可能不同。
推薦理由:Workflow SDK 5 把加密、區域部署與執行速度放在同一版更新中,文中的基準測試也呈現長流程與串流延遲的差異。
讓 AI 助理代買東西時,使用者需要放心付款,也要避免網站或銀行把交易擋下來。OpenAI 推出 ChatGPT Wallet,使用者先加入卡片,每次購買前都能檢查商品、總價和付款卡,再用 Face ID 或指紋確認。確認後,付款網路會提供一組代替卡片資料的付款程式碼,商家和 AI 助理都不會看到使用者的實際卡號;符合條件的爭議交易也保有原卡的回饋與保障。服務先透過 dots 提供給美國年滿 18 歲的 ChatGPT Pro 訂閱者,並搭配商家指南,協助網站和付款系統辨識這類交易。
推薦理由:ChatGPT Wallet 讓使用者逐筆確認 AI 助理代購,並用付款程式碼隱藏卡片資料;文章也說明商家如何讓既有網站與付款系統接受這類交易。
企業匯入 AI 時,常遇到員工看不到公司資料,或 AI 不懂公司怎麼定義營收等指標。OpenAI 與 Databricks 合作,讓 ChatGPT 透過 Genie 讀取員工有權檢視的資料,並依公司定義回答問題;工程團隊可讓 Codex 經過 Unity Gateway,設定預算並檢視每次請求紀錄。企業也能在 Databricks 上使用 OpenAI 模型打造自訂 AI 助理。這些做法讓員工更快查資料、工程主管掌握使用情況,也讓團隊在既有許可權管理下開發 AI 應用。
用 CloudFormation 管理資料庫時,原本需要在範本中分別設定 Aurora 叢集和資料庫執行個體。AWS 現在支援用快速設定建立 Aurora PostgreSQL,新增的 withExpressConfiguration createOnly 屬性可以一次建立叢集和主要資料庫執行個體,不必另外替執行個體寫設定。這讓範本更簡單,也能用基礎架構即程式碼管理這類叢集;相關支援已在提供快速設定 Aurora PostgreSQL 的所有 AWS 區域推出。