容量預留資源組在 AWS GovCloud(美國)區域支援 Amazon EC2 容量區塊與可中斷容量預留
AWS 擴大容量預留資源組在 AWS GovCloud(美國)區域的支援範圍,現在可將適用於 ML 的 Amazon EC2 容量區塊與可中斷容量預留加入資源組。
AWS 擴大容量預留資源組在 AWS GovCloud(美國)區域的支援範圍,現在可將適用於 ML 的 Amazon EC2 容量區塊與可中斷容量預留加入資源組。
Amazon Simple Email Service(Amazon SES)已在亞太地區的紐西蘭、墨爾本、臺北與泰國,以及墨西哥(中部)和歐洲(西班牙)推出,客戶可在這些區域使用服務寄送電子郵件,並在有需要時協助管理資料要求。
Artificial Analysis 釋出 Endpoint Accuracy Index v1.1,擴大 GLM‑5.3 Flash 與 Muse Spark Open 的評測覆蓋。
Franklin Templeton 正運用 OpenAI 工具與 Codex 開發投資研究工作流程,整合不同研究觀點與投資風險,協助投資組合經理取得洞見。
VeRL-Omni v0.3.0 擴充套件多模態強化學習的訓練配方與執行方式,將 V1 trainer 設為預設,並加入更多非同步 rollout、模型整合與硬體支援。
推薦理由:MiniCPM-o 4.5 的對照實驗顯示,非同步訓練的每提示詞耗時優勢會隨回應長度改變,可供依工作負載選擇執行配置時參考。
llama.cpp b12140 更新 GGML 運算與 CPU 後端,支援 YaRN 使用 truncate=false 時不將頻率插值區間邊界取整;此設定用於 gpt-oss 與部分 PLaMo-3 模型。
PyTorch 在 XPU 上新增 PCI domain/bus/device ID,允許 NUMA 繫結。 - PCI 位址支援:XPU 裝置屬性新增 pci_domain_id、pci_bus_id、pci_device_id 三個欄位,取代 SYCL 的單一字串。
Vercel Schedules 允許開發者在應用執行時即時建立、修改或取消單次與重複排程,無需重新部署。 - 靜態排程:在 vercel.json 或 Build Output API 中設定,部署時同步。
Vercel Schedules 現已進入公開測試版,允許在所有方案中以 cron 語法設定定時或單次任務,並可在生產、預覽或自訂環境執行。- 功能範圍:可針對私有 Vercel Function、HTTP 路徑或 Vercel Queue 主題設定排程,執行時可啟用、停用或即時觸發,無需重新部署。
AWS 已在菲尼克斯本地區域(us-west-2-phx-2a)推出網路負載平衡器,讓目標與負載平衡器都能位於本地區域,縮短並穩定菲尼克斯都會區使用者的連線延遲。
Amazon Marketplace 利用 Amazon SageMaker AI 建立一套多模型融合系統,從整體頁面快照評估 A+ 內容品質。
Databricks Apps 的擴充指南,從需求設定、架構選擇、負載測試到監控,提供實際範例與最佳實踐。 - 目標設定:建議先確定 p95 延遲、峰值使用者數與成長預估,並針對 UI、冷啟動與 AI 生成回應進行分層設計。
Amazon DynamoDB 推出批次寫入專案功能,可將 Amazon S3 中的資料寫入既有 DynamoDB 資料表,無須自建擷取管線或管理資料表容量。
推薦理由:DynamoDB 可直接從 S3 將資料寫入既有資料表,並提供標準與升級套餐,適用情境涵蓋每日重新整理、目錄擴充、回填與遷移。
Baseten 推出 Sandboxes,提供可儲存狀態並在 Agent 中斷後恢復執行的安全環境。 - 啟動與擴充套件:可在毫秒內從待命狀態啟動,並在數秒內擴充套件至數千個執行個體。
推薦理由:Sandboxes 將執行環境快照與運算資源歸零結合,並可在恢復時接續原有狀態,呈現其支援 Agent 工作流程的方式。
Amazon OpenSearch Service 最佳化引擎在 OpenSearch 3.7 新增AI 助理追蹤與 OpenTelemetry 跟蹤支援,讓跟蹤與日誌可在同一處分析。
Mistral AI 為 Mistral Studio 推出託管AI 助理與應用程式,並新增工作流程、企業連線、可觀測性及評估功能。 部署與控制:官方表示可自行選擇部署位置並保有控制權。
Amazon FSx for Lustre 智慧分層檔案系統的元資料 IOPS 上限提高至每秒 192,000 次,是先前 12,000 次上限的 16 倍。
vLLM 宣佈在 vLLM 0.32.0 支援百度 ERNIE 5.5 Flash Base,並提供 FP8 與 BF16 推論部署方式。
推薦理由:同一評測設定下,ERNIE 5.5 Flash Base 在兩項程式基準高於 DeepSeek-V4-Flash-Base,並提供引數規模與推論部署方式供比較。
本博文示範如何以 Debezium 與 Zerobus Ingest 直接將 PostgreSQL 變更推送至 Unity Catalog,省去 Kafka,對於私有網路環境的資料工程師具實務參考價值。
Bezeq 與 Adgar 董事會已批准簽署不具約束力的合作備忘錄,擬在 Petah Tikva 合建容量至少 16 MW 的資料中心。
Amazon SageMaker AI 現已支援 IAM Identity Center(IdC)多區域複製,讓管理員能在主 IdC 執行個體所在區域以外部署 SageMaker AI Studio 網域。
AWS Lambda 耐用函式提高正在執行的耐用執行數與多組 API 請求速率配額,讓更多工作負載可並行執行,也提高監控與管理執行的頻率。 - 配額變更:每個帳戶的正在執行耐用執行數從 100 萬提高至 500 萬;啟動執行的函式呼叫速率從每秒 300 提高至 3,000 個請求。
AWS Systems Manager Parameter Store 新增 13 種引數資料型別,可在建立或更新引數時自動驗證值,並在值與資料型別不符時拒絕寫入。
llama.cpp b12121 版本更新修正了量化 KV 快取的狀態複製錯誤,提升多平臺執行穩定性。 - 修正內容:針對 q8_0、q4_0 等量化型別,改用 ggml_type_size() * ggml_blck_size() 計算元素數量,確保整塊複製。
Apache Spark 4.3 擴充 Real-Time Mode 的具狀態串流處理,並已納入 Databricks Runtime 19。
推薦理由:Spark 4.3 將具狀態的處理擴充套件至 Real-Time Mode,並公佈三種工作負載的延遲資料,可用來瞭解其低延遲串流能力與適用範圍。
Databricks 根據企業部署觀察指出,開放權重模型的成本與效能逐漸具競爭力,企業正轉向多模型架構,以便調整模型選擇並維持治理控制。
大型語言模型把 KV 快取放在 GPU 外,容量雖然變大,讀取速度和可同時處理的請求數仍會受限。Netpreme 將 X-Mem™ 整合進 SGLang HiSparse,讓 GPU 透過高速連線讀取外接快取;測試中,GLM-5.3 在 16K 上下文、每張 GPU 處理 192 個請求時,輸出延遲降低 49.25%(快取未命中率 20%)或 63.58%(40%)。在 16K 到 1M 上下文的測試裡,每張 GPU 的最高解碼吞吐量是使用主機 DRAM 的 2.09–3.04 倍;長上下文的提升也受惠於更大的記憶體容量,能同時處理更多請求。測試使用 X-Mem™ Pilot 虛擬機器,實際晶片之後才會供應。
推薦理由:文章以 GLM-5.3 的測試比較外接記憶體的頻寬與容量如何影響解碼速度和同時處理的請求數,並指出小批次時差異不大。
summary_zh: Together Compiler(TKCC)在不到 24 小時內,為多個前沿開源模型(Kimi K3、GLM 5.3、MiniMax M3.1‑Flash。