Google 宣佈 Pathways 在 Google Cloud Platform 正式全面推出
Google 宣佈 Pathways 在 Google Cloud Platform 正式全面推出,這套分散式系統可透過單一 Python 使用者端描述訓練計算圖,由執行階段協調跨裝置工作。
推薦理由:文章說明 Pathways 如何以單一使用者端描述跨裝置的計算圖,並由執行階段安排資料傳遞與工作順序,呈現其相對於 SPMD 的執行方式差異。
把模型跑起來的工程實踐:推理最佳化、視訊記憶體與成本、Serving 架構與基礎設施選型。
Google 宣佈 Pathways 在 Google Cloud Platform 正式全面推出,這套分散式系統可透過單一 Python 使用者端描述訓練計算圖,由執行階段協調跨裝置工作。
推薦理由:文章說明 Pathways 如何以單一使用者端描述跨裝置的計算圖,並由執行階段安排資料傳遞與工作順序,呈現其相對於 SPMD 的執行方式差異。
文章示範如何以 .NET 10 和 gpt-5.4-mini 建置 24/7 AI 值班代理,監看應用程式健康狀態與近期錯誤,調查異常並建立事件;重啟等有副作用的操作會等待人工核准。
推薦理由:文章以 .NET 10 範例說明 24/7 值班代理的工程設計,涵蓋規則前置、人工核准、故障復原與 Foundry 配額管理。
文章示範如何以 Argo CD、ApplicationSet 與 app-of-apps 模式管理 30 個 OpenShift 叢集,將平臺元件的 Application 由 450 個手動維護專案改為依叢集與元件自動生成。
推薦理由:文章以 30 個 OpenShift 叢集為例,串起標籤盤點、ApplicationSet 生成與 RollingSync 分批發布,並說明各機制在 GitOps 管理中的分工。
在同一臺 EC2 上跑多個工作負載時,怎麼避免彼此影響,是多租戶和不受信任程式碼帶來的安全考量。AWS 推出 Nitro Sandboxes,讓 EKS 的容器組、ECS 的任務或輕量級虛擬機器,各自在 Nitro 硬體隔離的環境中執行;在 EKS 或 ECS 啟用只需改一行設定。工作負載也能透過加密認證確認隔離環境的完整性,再把機密資料交給它。這項服務可在多數 Nitro EC2 執行個體上使用,不另收費。
推薦理由:Nitro Sandboxes 為 EKS、ECS 工作負載提供各自的硬體隔離環境,也能在 EC2 上自行管理,適合評估不受信任程式碼的執行方式。
Raspberry Pi 搭配具 PPS 輸出的 GPS 接收器與 chrony,可架設 Stratum 1 NTP 伺服器,將時間同步至微秒級。 - 設定流程:文章說明安裝套件、接線、啟用 PPS 與 GPSd,以及設定和檢查 chrony 的步驟。
推薦理由:文章以 Raspberry Pi、GPS 與 PPS 示範 Stratum 1 NTP 伺服器的設定流程,並提供 chrony 同步結果,可參照實作與檢查時間精度。
Anthropic 本週啟動 IPO 路演,仍計畫於 11 月 16 日當週在 Nasdaq 掛牌;公司估值與募資規模可能下修,並已斥資約 34 億美元鎖定 1.7 GW 燃氣發電產能。
推薦理由:路演估值可能下修之際,Anthropic 另以約 34 億美元取得燃氣發電產能排位與工程服務,呈現 IPO 融資與 AI 基礎設施支出的交錯。
PyTorch 2.15 在 NCCL 介面上重寫,提升 GPU 故障診斷與自動恢復,減少重啟成本。 - NCCL 重寫:每個 process group 只產生一個 communicator,消除死鎖與效能不穩定。
推薦理由:PyTorch 2.15 重寫 NCCL 介面,提升 GPU 故障診斷與自動恢復,減少重啟時間,為大規模 LLM 訓練帶來穩定性。
PyTorch 2.15 重寫 NCCL 後端,改善多 GPU 工作的故障診斷與復原,讓單一 GPU 故障時有機會重新配置工作,避免整個訓練工作從頭開始。
推薦理由:PyTorch 2.15 將通訊器限制為每個 process group 一個,並加入故障快照;這些變更說明 GPU 協同訓練如何診斷停滯並重新配置工作。
AI 助理要查商品、比價或填表時,網站看到的網路位置和連線是否中斷,都可能影響工作能不能完成。Browser Use 用相同的瀏覽器設定測試七家住宅代理服務,比較價格、地點選擇、連線能維持多久,以及網站存取和表單工作的結果。測試中,有些工作雖然換了 IP,仍能接回已存的內容;另一些連線出錯,無法確認草稿是否恢復。測試次數不多,不能用來排出普遍的可靠度名次,作者建議用自己的網站和工作流程實測,並把重試耗掉的流量算進成本。
推薦理由:文章用相同的瀏覽器設定比較七家住宅代理服務,也整理各自的價格與限制,並說明小規模測試為何不能代表所有網站和工作流程。
ToyBlocks 是一個開源模擬框架,提供可控環境、任務與示範自動生成、以及評估指標,讓研究者能在統一平臺上探討機器人學習資料需求、泛化與高階推理能力。
推薦理由:本文展示了 ToyBlocks 框架如何在可控環境下評估機器人學習的資料需求與泛化能力,並提供自動化任務與示範生成工具,為實驗設計與模型驗證提供可複製的基礎,促進機器人學習研究的可重現性與擴充套件性。
VeRL-Omni v0.3.0 擴充套件多模態強化學習的訓練配方與執行方式,將 V1 trainer 設為預設,並加入更多非同步 rollout、模型整合與硬體支援。
推薦理由:MiniCPM-o 4.5 的對照實驗顯示,非同步訓練的每提示詞耗時優勢會隨回應長度改變,可供依工作負載選擇執行配置時參考。
作者說明如何在 ClickHouse 中把彙總值設計成來原始檔的函式,藉由重算受影響的細胞處理重複投遞與遲到收據,並降低報表讀取成本。 - 設計方式:以收據所屬的收銀機、班次與 UTC 小時作為細胞鍵;新檔案標記細胞待重算,定期只讀取相關檔案並以檔案鍵去重,再寫入版本化結果。
推薦理由:文章以四次實作嘗試說明重複、遲到資料與重算成本如何影響報表設計,並交代細胞式重算的效能收益與複本風險。
Amazon DynamoDB 推出批次寫入專案功能,可將 Amazon S3 中的資料寫入既有 DynamoDB 資料表,無須自建擷取管線或管理資料表容量。
推薦理由:DynamoDB 可直接從 S3 將資料寫入既有資料表,並提供標準與升級套餐,適用情境涵蓋每日重新整理、目錄擴充、回填與遷移。
Baseten 推出 Sandboxes,提供可儲存狀態並在 Agent 中斷後恢復執行的安全環境。 - 啟動與擴充套件:可在毫秒內從待命狀態啟動,並在數秒內擴充套件至數千個執行個體。
推薦理由:Sandboxes 將執行環境快照與運算資源歸零結合,並可在恢復時接續原有狀態,呈現其支援 Agent 工作流程的方式。
Mistral 擴充套件 Mistral Studio,新增託管AI 助理與應用,並為工作流、企業上下文、可觀測性和評估加入新能力,搭配 Mistral Large 4(Le Chonk)建置企業AI 助理、工作流與應用。
推薦理由:Studio 將託管AI 助理、工作流與應用整合在同一平臺,並支援雲端、VPC 與本地部署,呈現企業匯入時的建置與部署選項。
vLLM 宣佈在 vLLM 0.32.0 支援百度 ERNIE 5.5 Flash Base,並提供 FP8 與 BF16 推論部署方式。
推薦理由:同一評測設定下,ERNIE 5.5 Flash Base 在兩項程式基準高於 DeepSeek-V4-Flash-Base,並提供引數規模與推論部署方式供比較。
Apache Spark 4.3 擴充 Real-Time Mode 的具狀態串流處理,並已納入 Databricks Runtime 19。
推薦理由:Spark 4.3 將具狀態的處理擴充套件至 Real-Time Mode,並公佈三種工作負載的延遲資料,可用來瞭解其低延遲串流能力與適用範圍。
大型語言模型把 KV 快取放在 GPU 外,容量雖然變大,讀取速度和可同時處理的請求數仍會受限。Netpreme 將 X-Mem™ 整合進 SGLang HiSparse,讓 GPU 透過高速連線讀取外接快取;測試中,GLM-5.3 在 16K 上下文、每張 GPU 處理 192 個請求時,輸出延遲降低 49.25%(快取未命中率 20%)或 63.58%(40%)。在 16K 到 1M 上下文的測試裡,每張 GPU 的最高解碼吞吐量是使用主機 DRAM 的 2.09–3.04 倍;長上下文的提升也受惠於更大的記憶體容量,能同時處理更多請求。測試使用 X-Mem™ Pilot 虛擬機器,實際晶片之後才會供應。
推薦理由:文章以 GLM-5.3 的測試比較外接記憶體的頻寬與容量如何影響解碼速度和同時處理的請求數,並指出小批次時差異不大。
OpenVDDK 是一個開源的虛擬磁碟庫,能直接替換 VMware 的 VDDK,保持相同 API 及功能。 - 相容性:可直接替換 libvixDiskLib.so.8.0.3,無需改寫程式碼。
推薦理由:OpenVDDK 相容 VMware VDDK,且在多執行緒讀取時可提升速度,無需重寫工具,並可直接替換,保持 API 相容。
推薦理由:此版本同時涵蓋模型支援、推測解碼與硬體效能資料,可從中掌握 vLLM 的更新範圍及不同部署環境的變化。