llama.cpp b12089 版:新增 Metis‑1.6 模型支援與多平臺推理擴充
本次 llama.cpp b12089 版本釋出,新增對 Metis‑1.6 模型的支援,並擴充多平臺推理功能。 - 模型支援:Metis‑1.6。
本次 llama.cpp b12089 版本釋出,新增對 Metis‑1.6 模型的支援,並擴充多平臺推理功能。 - 模型支援:Metis‑1.6。
推薦理由:此版本同時涵蓋模型支援、推測解碼與硬體效能資料,可從中掌握 vLLM 的更新範圍及不同部署環境的變化。
Vercel CI 現可在未連結 Vercel 專案的 GitHub 倉庫執行,省去建立空專案的步驟。 - 啟用方式:安裝 Vercel GitHub App、將 GitHub 帳號連結至 Vercel、授予倉庫寫/管理許可權,並於倉庫 clone 目錄執行 vercel ci enable(可加 --scope <team>)。
Baseten宣佈推出 Grid、Sandboxes、Loops,擴充其 AI 推論平臺,分別涵蓋模型路由與防護、代理程式沙箱,以及開放權重模型的微調與強化學習。
OpenEvidence 透過 Vercel 平臺,利用 Fluid compute 與 Next.js 在五分鐘內完成生產部署,為 65 萬名醫師提供醫療搜尋服務。
F3 Lightning:Meta 如何以規模加速廣告機器學習特徵進入生產 summary_zh: Meta 推出 F3 Lightning,將廣告機器學習特徵的發布流程拆分為獨立單位,實現每個特徵單獨編譯、驗證、部署與回滾,並保持與原先 F3 相同的計算效率。
DuckDB 讓 TimeStored 創辦人 Ryan Hamilton 能在應用程式內嵌資料庫,協助量化分析師建立本機分析環境,並逐步用於 QStudio、Pulse 與 PeachQ。 QStudio:這款分析 IDE 約 13 年前推出,原為 kdb+ 打造,現在可連線約 15 種資料庫。透過 DuckDB,分析師可將耗時最長 20 分鐘的遠端查詢結果存成 Parquet,之後直接查詢本機資料。 TimeStored 的應用:其主要產品 Pulse 是即時 HTML 視覺化工具,使用 DuckDB 快照與快取資料;DuckDB 也逐漸支援 AI 輔助資料探索。 PeachQ:這項開源專案以 Rayforce 記憶體引擎搭配 DuckDB 歷史資料儲存,將 Q 語言、即時處理、分析與儲存整合為開源替代方案。QStudio 現已開源。
Mercor 透過 Vercel AI Gateway 將批次作業耗時從 12 小時縮短至 2 小時,並在 10 天內處理 18M 個請求與 63B 個 Token,顯示平臺能在高峰流量下保持高效推理與自動化評估。
本文說明如何利用 Cartesia 的 State Space Models 在 AWS 上構建超低延遲語音 AI,並提供從 SageMaker 部署到 EC2 GPU 的完整流程。
AI 正在改變半導體製造流程:NVIDIA 與半導體業者運用加速運算、物理 AI、AI 助理與數位孿生,協助工程師更快評估製程、材料與裝置變更,並在實體試產前於虛擬環境中驗證。
NVIDIA 與合作夥伴正將實體 AI、AI 助理及共享運算基礎設施匯入全球城市,支援市民服務、城市監控、基礎設施規劃與營運。 - 城市服務與監控:西班牙 1MillionBot 將開源 ALIA 模型與 NVIDIA Nemotron 等模型用於市民服務AI 助理,已在西班牙部署 150+ 個服務。
Amazon EKS 現已支援 Argo CD 通知,可在應用同步、失敗或健康變更時即時傳送訊息。\n- 功能:在叢集內定義觸發器、訊息範本,並透過註解訂閱各個 Argo CD 應用。
LongCat 2.5 已在 Vercel AI Gateway 開放,可供 AI 助理執行複雜程式碼庫與完整專案建置任務。 模型能力:結合原生視覺理解、程式開發與多步驟工具使用;Meituan 表示,模型在視覺程式設計、創意設計與 3D 任務上有所改善,也支援從規劃到執行的較長AI 助理工作流程。 輸入與上下文:支援文字和影像輸入,提供 1M-token 上下文視窗,可用於程式碼、檔案與延伸任務紀錄。 使用方式:模型名稱為 meituan/longcat-2.5。安裝最新版 Vercel CLI 並執行 setup 後,可在 Claude Code、Codex、Cursor 等AI 助理中選用;也可在模型 playground 試用。 AI Gateway:提供統一 API 以呼叫模型、追蹤用量與成本,並設定重試、故障切換與效能最佳化。依原文說明,定價比照供應商,不加價,也不對推論收取平臺費用,包含 BYOK 請求。
Vercel MCP 現已允許客戶端透過 Client ID Metadata Document(CIMD)自動註冊,免除 Vercel 手動審核。 - 自動註冊流程:客戶端在自有域名上發布 CIMD,使用其 HTTPS URL 作為 OAuth client_id,符合 MCP 授權規範。
Vercel 於 2026 年 11 月 02 日推出新功能,於建置前後即時檢查並阻止已列入封鎖清單的 npm 套件,防止惡意安裝指令碼執行。 - 即時封鎖:在依賴安裝前後均進行檢查,封鎖已知惡意或漏洞版本。
Amazon Quick 桌面版現在可使用與 Web 版相同的企業身份驗證方式登入,讓管理者只需一次設定即可完成桌面與 Web 版同步登入。 - 桌面連接器:在 Quick 控制台新增一次桌面連接器,即可啟用桌面登入。
Vercel 的 Sandbox 掛載 Drives 後啟動速度提升,建立時間中位數從 1.7 秒降至 0.7 秒,p95 則從 2.2 秒降至 1.6 秒。 適用方式:所有使用 Drives 的 Sandbox 都會自動套用,不需要升級 SDK 或調整設定。 價格:維持不變。
AWS Lambda 現已支援在自管理 Kafka 事件源中使用 Apache Kafka 佇列,讓使用者可將工作負載的並行度與吞吐量獨立於分割槽數量。
推薦理由:AWS Lambda 新增 Kafka 佇列模式,可讓客戶在自管理 Kafka 叢集中提升並行度與吞吐量,並簡化架構。
Blacksmith (W24) 正在利用遊戲級 CPU 加速 CI,將測試等待時間從數分鐘縮短至數秒。\n- 成長勢頭:過去一年營收成長 20 倍,已獲得 200 位首批客戶。
summary_zh: Apple Machine Learning Research 針對即時 iOS 應用程式提出一套線上密集強化學習框架,將代理拆分為規劃代理與 UI 基礎化模型,並利用 LLM‑as‑a‑Judge 產生步驟層級與終端獎勵,顯著提升 UI 導航表現。
Cloudflare 透過針對性建構與統一排程,將 DNS 建構延遲縮半、記憶體使用下降 85%。 - 建構流程:Zone Builder 依事件型別選擇最小安全建構,避免完整區域重建。
Amazon Inspector 現已支援對 EC2 Amazon Machine Images (AMI) 進行漏洞掃描,無需啟動實例或安裝額外軟體即可識別 AMI 中的漏洞。
長對話會反覆送出相同的前文,模型若每次重算或重新傳送資料,使用者就得等更久。這篇文章說明 HiCache 如何把可重用的模型快取放在 GPU、主機記憶體和外部儲存,並讓不同運算階段和多臺機器在同一個字首上做出一致決定。以 GLM-5.2-FP8 的多輪對話測試來看,解碼端也重用 GPU 與主機快取後,平均首次回應時間降低 25.4%,中位數降低 60.3%,輸出速度增加 2.9%。文章也說明,資料分散存放和非同步傳輸會增加協調難度,快取資料必須準備妥當才能省下計算與傳輸時間。
推薦理由:文章拆解 HiCache 在多種平行配置與分離式服務中的快取協調方式,並用實際服務資料呈現字首重用對回應等待時間的影響。
長文本請求會佔用大量記憶體,也可能讓模型忙著處理輸入,來不及持續產生答案。作者在 SGLang 上調整 GLM-5.3-Flash 的快取共用、推測解碼和資料傳送方式,並分開測試輸入與輸出速度。在 4 張 H200 上,輸入處理速度提高到每秒 48,064 個 token;有 99.9% 共用字首時,輸出速度提高到每秒 12,027 個 token。整體結果也顯示,共用字首較少時,輸入處理仍是瓶頸;共用較多時,解碼端的改善更能提高整體速度。
推薦理由:這組測試呈現共享字首比例如何改變服務瓶頸:字首重用少時,輸入處理仍限制整體吞吐量;重用高時,解碼端的調校更能轉成效能提升。
llama.cpp 在 b12020 版本中新增 OpenCL FWHT 加速,擴充多平臺支援。
Vercel Daemons 現已支援服務繫結,允許在 Daemon 執行時直接呼叫部署內部服務。 - 繫結設定:在 vercel.toml 中使用 [[daemons.worker.bindings]] 定義,指定 service="api"、format="url"、env="API_URL"。
Amazon Bedrock 於 AWS GovCloud(美國)新增 OpenAI GPT‑5.6(Terra、Luna)模型支援,並提供 Responses、Converse、Chat Completions API 以及跨區推理功能。
Vercel 宣佈 Data Cache 退出測試版並遷移至 Runtime Cache,Next.js 的 fetch 快取與 unstable_cache 將在所有版本自動切換,無須修改程式碼。 儲存空間:Pro 方案按專案與環境配置 Runtime Cache 儲存空間,容量是原先團隊共用 Data Cache 的 8 倍;Enterprise 專案的儲存空間是原先的 10 倍。 計價方式:遷移後,原本不計費的 Data Cache 讀寫將依 Runtime Cache 費率收費,起始價格為每 100 萬次讀取單位 $0.40、每 100 萬次寫入單位 $4.00,並依地區而異。Hobby 每月跨所有專案可免費使用 100 萬次讀取單位與 20 萬次寫入單位;Pro 用量先抵扣每月 $20 基礎設施額度,超出部分依地區費率計費。Enterprise 價格需洽詢客戶團隊。 遷移時程:2026 年 10 月 30 日起新建團隊預設使用 Runtime Cache。既有 Hobby 團隊將於 11 月 29 日遷移;Pro 團隊會收到遷移日期及計費生效時間通知,Enterprise 團隊則由客戶團隊提供遷移資訊。 提前選用與準備:既有 Hobby 和 Pro 團隊可從團隊的 CDN 設定提前選用,選用後立即適用 Runtime Cache 費率。遷移前可在 Observability 檢視 Data Cache 用量,並依照最佳化指南或將 Agent 提示詞複製到程式設計AI 助理;Runtime Cache 儀錶板也提供「Optimize with Vercel Agent」選項。停用 CDN 設定中的 fetch 與 unstable_cache 快取會增加資料來源請求,但不會停止遷移。
Vercel 推出 Runtime Cache,統一資料快取 API,讓開發者可跨 Next.js、SvelteKit、Nuxt 等框架重用資料,提升讀取速度與儲存容量。
推薦理由:Vercel 的 Runtime Cache 讓開發者可統一使用單一 API 進行資料快取,並提供更大儲存與更快讀取,提升跨框架與 API 的效能。
Worldwide Express 透過 Amazon Bedrock 建置多代理 AI,將物流帳單異常處理自動化。 - 解決方案:三個專門 AI 代理(發票匹配、價格差異、附加費驗證)直接接入 SpeedShip TMS,完成自動判斷與建議。
Spinf-serve 是一款能在單一 24GB GPU 上一次讀取內容並同時回答多個問題的推理伺服器,支援 OpenAI 相容 API。 - 批次推理:一次性讀取文本,將多個問題作為同一前向傳遞的分支,顯著降低每題的計算成本。
AWS WAF 現已支援在 Amazon CloudFront 分配中自動注入 JavaScript SDK,無需修改應用程式碼即可啟用機器人控制、ATP 與 ACFP 監控。
summary_zh: Microsoft Copilot 透過新開發的 Industry Evaluation Data Generation Platform,利用公開資料生成合成企業環境,測試 AI 在真實企業工作流程中的表現,提升評估準確度與安全性。
Amazon SageMaker AI 現在支援 GPU 分割槽,允許在單個 GPU 上託管最多七個獨立分割槽,每個分割槽可執行不同模型。 - GPU 分割槽功能:使用 NVIDIA MIG 將 GPU 劃分為最多七個分割槽,獨立記憶體與計算資源。
summary_zh: - 託管式 Prometheus 收集器現在支援 Amazon MSK 的消費者組指標。 - 透過此整合,能從 Amazon MSK 叢集收集 Kafka 匯出器指標 與 消費者組延遲指標。