Modal Clusters 正式上線:秒級啟動與按秒計費
Modal Clusters 正式上線,透過單行程式碼 @modal.clustered 立即在 Modal 平臺上啟動多節點叢集,支援秒級啟動、按秒計費、RDMA 6.4 Tbps 互聯以及自動 GPU 健康檢查。
推薦理由:Modal Clusters 以秒級啟動與按秒計費,解決多節點訓練與推理的資源排程難題,對需大規模模型開發者與推理服務商具有實際價值。
把模型跑起來的工程實踐:推理最佳化、視訊記憶體與成本、Serving 架構與基礎設施選型。
Modal Clusters 正式上線,透過單行程式碼 @modal.clustered 立即在 Modal 平臺上啟動多節點叢集,支援秒級啟動、按秒計費、RDMA 6.4 Tbps 互聯以及自動 GPU 健康檢查。
推薦理由:Modal Clusters 以秒級啟動與按秒計費,解決多節點訓練與推理的資源排程難題,對需大規模模型開發者與推理服務商具有實際價值。
Browser Use 比較 7 家 AI 助理瀏覽器服務,涵蓋價格、並行數、反偵測表現、工作階段速度、部署方式與方案限制。 價格與速度:Browser Use 每瀏覽器小時 $0.02,是比較中價格最低的服務;Browser Use 與 KERNEL 的工作階段生命週期分別為 386 ms 和 366 ms,領先差距約 20 ms,且 BrowserArena 測試中的領先者會變動。 適用情境:Browserbase 提供即時檢視、重播與記錄;Steel 和 Browserless 可自行託管;Anchor 採每項任務計價;Hyperbrowser 以同一點數池支援瀏覽器、沙箱與網路 API。 測試限制:Stealth Bench V2 由 Browser Use 建置並執行,作者說明測試偏向 Browser Use;測試網站刻意挑選較難通過的網站,並非均衡的網路樣本。文章建議先用自己的網站測試候選服務。
推薦理由:文章比較七家瀏覽器服務的價格、連線速度與功能限制,也揭露自建測試偏向 Browser Use 的條件,便於讀者判斷資料適用範圍。
本文介紹瞭如何利用 Amazon EKS、EFA 與 DeepEP 在大規模 MoE RL 訓練中實現 40% 以上吞吐提升。
推薦理由:本文詳細闡述瞭如何利用 Amazon EKS、EFA 與 DeepEP 在大規模 MoE RL 訓練中實現 40% 以上吞吐提升,幫助讀者快速搭建高效、成本友好的分散式 RL 基礎設施。
TEEs 與 MPC 的結合雖能提升安全,但若未正確驗證與防禦,仍可能被回滾攻擊與測試失效等漏洞利用。 - 安全模型:在 TEE 內執行的 MPC 可將半誠實模型提升為惡意安全,但前提是 attestation 能驗證正確實作。
推薦理由:本文深入剖析 TEE 與 MPC 組合的安全陷阱,並提供實務防禦建議,對安全工程師設計可信系統具有指導意義。
AI 助理要從多個動作中選一個時,系統可以先替每個選項打分,但重複處理相同背景會拖慢速度。這篇文章介紹 SGLang 的 Score API,讓程式明確要求 Yes 或 No 等標籤分數,也說明 MIS 如何在評估多個選項時共用相同背景。測試中,選項從 2 個增加到 16 個時,MIS 在部分模型上的延遲增加不多,但不同模型和負載下結果不一。文章也提醒,部署前要在預定流量下檢視實際處理量和較慢請求的延遲。
推薦理由:文章比較 SGLang 在不同評分方式下的延遲表現,並提醒負載升高時要同時檢視實際吞吐量與尾端延遲。
vLLM 在 GB300 NVL72 叢集上針對 Qwen3.8‑2.4T 進行 PD 服務,實現每 GPU 5,000 個總 token 吞吐量以及每使用者 180 個生成 token 的低延遲表現。
推薦理由:本篇詳盡說明如何在 vLLM 上針對 Qwen3.8-2.4T 進行 PD 服務調優,並提供可執行的 srt-slurm 配方,讓讀者能直接套用於其他模型。
vLLM 透過整合 NVIDIA GPU 的硬體解碼(PyNvVideoCodec)\,將影片字幕任務的解碼工作從 CPU 移至 GPU,實現多 GPU 伺服器的吞吐量提升。
推薦理由:本次更新將硬體解碼與多 GPU 伺服器結合,提升影片字幕任務吞吐量,對 AV 研發與資料標註流程有直接效益。
對話越長,模型要保留的過往內容就越多,GPU 記憶體也更容易不夠用。SGLang、Qwen 和 NVIDIA 團隊把 KV cache 改用 NVFP4 儲存,讓每 16 個值連同區塊縮放資料約只佔 FP8 的 56%。在 Qwen3.8-27B 的測試中,長上下文解碼速度有所提升,但部分準確度測項略低;在 AgentX 高並行測試裡,NVFP4 的吞吐量也持續增加,而 FP8 表現下滑。這項支援仍屬實驗性,結果會隨模型和工作情境而變,部署前仍要按任務檢查準確度。
推薦理由:NVFP4 把 KV cache 壓到約 FP8 的 56% 儲存量;文中比較了準確度、長上下文解碼速度與 AgentX 負載,呈現省記憶體和回答品質之間的取捨。
vLLM Project 擴充 Speculators 與 Mooncake 隱藏狀態傳輸流程,為 Kimi K3 訓練 DSpark 草稿模型,並將其整合至 vLLM 推論服務。
推薦理由:文章拆解 MooncakeHiddenStatesConnector 如何支援跨節點傳送隱藏狀態,並以 Kimi K3 的訓練與推論資料呈現 DSpark 的效能變化。
Together AI 推出可預約計算功能,讓 GPU 叢集以 50% 之低成本執行可中斷工作。 - 計費方式:子小時計費,單價為按需費用的 50%。
推薦理由:預算敏感型工作負載可利用此功能以 50% 成本節省,並保持與標準節點相同的 GPU 基礎設施,支援 Ray Train 與 PyTorch Lightning。
vLLM 於 2026 年 9 月 10 日發布的 Tiered KV Cache Offloading 方案,將長上下文模型的 KV 快取分層到主機記憶體、檔案系統、物件儲存與遠端節點,避免重複預填。
推薦理由:vLLM 透過多層 KV 快取分層,降低 GPU 記憶體壓力,提升多使用者會話吞吐,並支援跨節點共享與自動熱啟動,讀者可直接應用於大模型部署。
部署 DeepSeek-V4.1 時,龐大的記憶體需求和複雜的運算流程會佔用硬體資源。SGLang 和 Miles 加入支援,讓 Engram 記憶表可放到主機記憶體,釋出 GPU 空間;也能只重算部分內容,減少前置處理時間。在測試中,主機記憶體配置讓 KV cache 容量增加 36%;有限重算則讓前置處理速度提升 1.56 倍或 1.37 倍。重算會帶來近似結果,部分功能也有限制,因此需要依工作需求選擇。
推薦理由:文章比較 DeepSeek-V4.1 的記憶體配置與有限重算方法,並列出吞吐量、正確率和功能限制,方便評估部署取捨。
OpenRouter 推出美國與歐洲區域路由,確保 AI 工作負載在地處理並符合資料主權需求。 - 區域端點:請使用 https://us.openrouter.ai/api/v1 或 https://eu.openrouter.ai/api/v1,請求在該區域內解密並處理,僅允許該區域內的供應商服務。
推薦理由:此功能可確保 AI 工作負載在美國或歐洲區域內完成,符合資料主權需求,並支援企業級計畫,提供多種模型選項。
Mistral AI 近日完成 30 億歐元 Series D 融資,後市估值逾 210 億歐元,創歐洲科技公司最大融資紀錄。融資由三星電子領投,Scaleup Europe Fund、PSG Equity 等跟投,資金將用於擴充套件前沿研究、提升訓練算力、加速商業化與國際佈局。Mistral 目前已在 20 個國家運營,支援 125 家全球企業的關鍵 AI 轉型。
推薦理由:Mistral 通過 30 億歐元融資,進一步加速其全棧開放權重 AI 的研發與商業化,凸顯企業對自主 AI 解決方案的需求增長。
有些團隊需要 AI 助理直接使用內部服務、程式碼庫或特殊硬體,但雲端環境不一定符合需求。Cursor 推出自託管機器,讓工具執行改在團隊自己的機器上,Cursor 雲端仍負責推理、規劃和編排;工具執行結果會傳回 Cursor,供後續推理使用。團隊可以連線單臺機器,也能建立會隨工作需求擴縮的資源池,並在支援的沙箱服務上執行。這讓團隊能配合既有網路、硬體和建置流程安排 AI 助理的工作位置。
推薦理由:自託管機器讓團隊能把工具執行放在自己的網路與硬體上,同時由 Cursor 雲端負責推理和編排,適合瞭解企業如何調整 AI 助理的執行環境。
Go 1.27 推出 goroutine leak profiler,可在執行中的 Go 程式(包括正式環境)偵測並定位特定型別的 goroutine 洩漏。
推薦理由:Go 1.27 的 goroutine leak profiler 可在執行中的服務定位特定阻塞洩漏,文中以多種並行錯誤說明其偵測範圍與成本。
MoE 模型的專家權重太大,消費級顯示卡和記憶體通常放不下完整模型。SGLang 的 SSD Expert Pack 把專家權重放在 NVMe SSD,每次只讀取路由器選中的專家,並用 GPU 快取留住常用內容;它也能省去資料先經過系統快取、再複製到 GPU 傳輸用記憶體的步驟。團隊在配有 RTX 5090、32 GB 記憶體和 2 TB SSD 的電腦上測試 DeepSeek-V4-Flash 與 Kimi-K3,兩款模型在測試中的生成速度都高於各自的比較基準。這種做法能降低放置完整專家權重所需的 GPU 記憶體,但 SSD 讀取和快取命中情況仍會影響速度。
推薦理由:這套方法把容量需求轉移到 NVMe SSD,再用 GPU 快取常用專家;文中也比較兩款模型在單張消費級顯示卡上的實測速度與 SSD 讀取量。
推論效能的改動常牽涉多個程式庫、部署設定和測試條件,少了其中一環,結果就難以重做或比較。LMSYS 團隊介紹內部使用的 Infer-forge,讓每項工作先寫清楚目標、範圍和驗收方式,再由 AI 助理分段執行、留下紀錄,並把有依賴關係的工作接成任務圖。驗證結果可交給下一項工作,失敗或放棄的方向也會留下紀錄。團隊表示,這套系統目前不開放原始碼,但公開了建置方法;一名工程師的紀錄中,同時進行的任務數量高峰從 2 項增至 9 項。
推薦理由:文章以推論工程為例,說明如何把可重現的執行環境、持續工作的任務流程與專案依賴連在一起,並保留驗證證據。
生成高畫質影片要反覆計算很多次,想加快速度,常得在畫面相似度上有所取捨。SGLang Diffusion 團隊在 8 張 NVIDIA H200 顯示卡上測試 MiniMax-H3,並和 Diffusers 比較;在不近似計算的設定下,速度快約 1.85 到 1.95 倍。加入重用前面計算結果的 Cache-DiT,以及略過部分注意力運算的 SubBlock 後,最快達 6.24 倍,但部分 T2VA 影片的 SSIM 降到 0.76 至 0.78。若更重視畫質,單用 Cache-DiT 可達 2.99 倍,SSIM 為 0.90 至 0.92。測試固定提示詞、種子和輸出設定,結果顯示加速幅度會隨影片型別和設定改變。
推薦理由:這組實測在固定影片生成條件下比較速度與畫質,呈現不同加速設定的取捨,方便估算可接受的畫質變化。
長文本會增加模型處理內容和讀取記憶體的負擔。千問團隊推出 Qwen3.8-Flash-Next,SGLang 團隊也在發布當天加入支援。這個多模態模型使用混合注意力,只讓部分層仔細檢視長上下文,並用稀疏注意力挑出重要片段;另一種嵌入資料則放在主機記憶體,需要時再讀取,以減少 GPU 記憶體用量。文章也介紹 SGLang 對推論和記憶體管理所做的調整,並回報特定硬體設定下的速度與記憶體測試結果。
推薦理由:文章整理 SGLang 如何在模型發布當天支援 Qwen3.8-Flash-Next,並說明長文本注意力、GPU 記憶體使用與推論速度的取捨。