Amazon Aurora 與 Amazon RDS 現已支援按需容量預留
summary_zh: Amazon Aurora 與 Amazon RDS 現已支援按需容量預留,使用者可在一個或多個可用區為資料庫實例預留計算容量,確保關鍵工作負載在高峰、產品發布、災難復原等時段不會因容量不足而失敗。
summary_zh: Amazon Aurora 與 Amazon RDS 現已支援按需容量預留,使用者可在一個或多個可用區為資料庫實例預留計算容量,確保關鍵工作負載在高峰、產品發布、災難復原等時段不會因容量不足而失敗。
長時間提供大型語言模型服務和產生 RL 訓練資料都會持續消耗運算資源,團隊得考量每個 token 的成本。SGLang 和 AWS 合作推出 Trainium 外掛測試版,讓 SGLang 能在 Trainium2 和 Trainium3 上提供模型推論服務,也能產生 RL rollout。開發者可沿用熟悉的 PyTorch 工作方式,搬動現有工作時只需少量修改。團隊也展示一種分工方式:在 Trainium3 上產生 Qwen3-MoE-30B-A3B 的 rollout,再用單臺 H200 主機訓練模型。測試版目前只開放給少數團隊申請,效能調整仍在進行中。
AWS Neuron 2.33 現已推出,新增 TorchNeuron 讓 PyTorch 模型可直接在 Trainium 上編譯與執行,並加入 Neuron Observer、vLLM 外掛升級等功能。
Vercel 針對 monorepo 專案的部署,將自動跳過的部署不再計入部署速率限額。 - 自動跳過:當原始碼與內部依賴未變更時,Vercel 會透過 Turborepo 的套件圖與鎖檔分析,自動跳過該專案部署。
Prometheus 3.13.5 發布,修復多項安全漏洞並升級 Go 1.26.10。 - 安全修復:更新 CA 憑證,修復 net/http、net/textproto、crypto/tls、html/template 等漏洞。
推薦理由:此更新修復多項安全漏洞,提升容器映象與網路協定安全,對使用 Prometheus 的 DevOps 團隊具有重要防護意義。
NVIDIA Vera CPU 以其高效能與低功耗,成為歐洲企業打造本土 AI 基礎設施的核心技術。 - 多家技術夥伴:Nebius、Nscale 等選用 Vera 以支援 agentic computing,提升資料中心的利用率。
NVIDIA Cloud Partners 在歐洲擴大雲端基礎設施,並推出安全代理架構與開放模型服務。 - Nscale 利用 NVIDIA DSX 平臺,測試中提升 37% GPU 效率與 50% 推理吞吐量。
推薦理由:文章說明 NVIDIA 及合作夥伴如何在歐洲擴大 AI 雲端基礎設施,並提供安全邊界與開放模型,對於想在歐洲部署 AI 代理的開發者與企業具有實務參考價值。
Amazon SageMaker AI 現已支援在無伺服器模型自訂作業中設定自訂序列長度,讓使用者能根據資料特性調整 dataset_max_len、max_prompt_length、max_response_length 等引數。
AWS Transform 允許使用者三種方式遷移網路:從現有網路遷移、從零開始構建新網路,或將本地訪問規則轉換為安全組並部署至現有 VPC。 - 新網路構建:自動依 AWS 最佳實踐建立全新網路,確保安全與可擴充套件。
Amazon ECS Gateway 讓容器化服務的入口配置更簡化,組織可集中管理流量路由與 DNS,並在多個服務間共用 ALB,從而降低基礎設施成本並提升部署效率。
Amazon DynamoDB 全域性表現在可取消副本,並可在保留本地表的同時停止跨區域複製。 - 取消副本:可在任何區域停止向副本複製或從副本複製。 - 保留本地表:不需要刪除表或資料,仍可作為單區域表使用。 - 多帳戶支援:同帳戶與多帳戶全域性表均可取消副本。 - 操作方式:可透過管理控制台、CLI、API 或 CloudFormation。
Wiz Sensor 以一鍵方式整合至 Google Kubernetes Engine,成為 GKE 原生的執行時安全附加元件。 - 部署方式:在 GKE 標準與 Autopilot 叢集上,透過 gcloud add-on 或 Cloud Console 只需一個 flag 即可啟用。
推薦理由:將 Wiz Sensor 與 GKE 原生整合,使用者可一鍵啟用執行時安全,降低部署成本並提升防禦即時性。
durable-harness 讓開發者能在雲端持久化執行編碼代理,避免因崩潰或網路中斷造成工作遺失。 - 支援範圍:可應用於 Pi、OpenCode、Codex、Claude Code 等主流 Harness。
Vercel Functions 已將 WebSocket 支援正式普及,讓開發者可在 AI 聊天、串流與即時多人遊戲等場景中即時使用。 - 流量:已服務 3 億 WebSocket 連線,日均 1,500 萬。
summary_zh: RawLink 是一個用 Rust 編寫的快速加密 TCP 隧道,支援 AES-256‑GCM 加密、可多流、可選流量混淆與自動重連。
本文示範如何在 Amazon SageMaker HyperPod 上使用 SFT 與 GRPO 微調 GPT‑OSS‑20B,使其在多語言推理任務中的推理語言正確率從 22% 提升至 100%,並在答案語言上提升至 70%。
推薦理由:本篇示範如何在 SageMaker HyperPod 上使用 SFT 與 GRPO 微調 GPT-OSS-20B,並揭示兩種技術的適用場景,對想要提升多語言推理模型的實務團隊具有參考價值。
TorchTPU 是 Google 釋出的 PyTorch 原生 TPU 後端,允許使用者直接在 PyTorch 程式碼中執行模型。
KTIR 到 SpyreCode 的轉換流程說明,展示開源資料流排程器如何將 PyTorch Inductor 的計算對映轉化為 Spyre 硬體可執行的程式。
大型 MoE 模型流量增加時,常見做法是多開一份完整服務,或停機重啟來增加 GPU;兩種方式都會帶來額外成本或等待時間。這篇文章說明 SGLang 如何讓運作中的服務逐步加入 GPU,例如把 20 張 GPU 擴到 24 張,準備新 GPU 時原本的服務仍可工作。擴充前要先設定可達到的 GPU 上限,預留的通訊記憶體越多,留給 KV cache 的空間就越少。文中在 8 張 H100 上比較,擴充後首次完成請求的時間比重啟快 5.3 到 8.2 倍;轉換期間則會暫停傳送 token。
推薦理由:文章說明 SGLang 如何在服務持續運作時分批加入 GPU,並比較轉換時間與輸出速度,可用來評估大型 MoE 部署的擴充方式。
AtScale 與 Amazon Bedrock AgentCore 在 AWS 上協同構建代理式 AI 語義層,讓 LLM 直接透過 MCP 進行治理式查詢。
TorchNeuron 是 AWS 為 Trainium AI 晶片推出的原生 PyTorch 後端,已開放公開測試版。 - 功能:使用 .to('neuron') 直接在 Trainium 上執行 PyTorch 程式,保持與標準 PyTorch API 完全相容。
Amazon Bedrock 的高階提示最佳化現在支援提示縮短,讓使用者在保持或提升評估分數的同時縮短提示長度。 - 功能:可選擇啟用,若最佳化後提示比原始提示更短且評分不低於原始,則回傳最佳化提示;否則保留原始提示。
AWS Transform 現已支援更多型別的現有登入區,並提供 IaC 與委派管理模式,讓組織能在不授權直接存取的情況下快速擴充並自動化登入區。 • 擴充支援 可在 AWS Control Tower 或 AWS Organizations 建構的登入區上進行差距分析,並擴充套件現有結構。
summary_zh: 巴塞羅那超級計算中心(BSC)透過 AI Factory Accelerator Programme,為西班牙初創企業提供計算資源、培訓,促進跨產業創新。
Abliterated Models 如何讓你被攻擊 summary_zh: Abliterated Models 讓你被攻擊。 - 背後機制:通過「abliteration」將模型中拒絕回答的權重減去,讓模型在安全調校時會回答本應拒絕的請求。
vLLM 推出 TorchTPU 後端,讓多數既有 vLLM 模型可在 Google Cloud TPU 上執行,無須修改模型程式碼。 - 服務介面:沿用 vLLM 的 CLI、OpenAI 相容伺服器、排程器與 KV cache 管理器,並支援六種平行化維度。
推薦理由:vLLM TorchTPU 延用既有模型程式碼與服務介面,呈現 TPU 後端如何減少模型移植工作並保留原有部署流程。
Modal 在其 serverless 平臺上推出 Sticky Sessions,透過 @modal.sessioned() 裝飾器與低延遲代理(fprs)確保同一會話的所有請求都落在同一容器,並以會話數量為單位進行自動擴縮。
vLLM TorchTPU 是 vLLM 的 PyTorch 原生 TPU 後端外掛,允許使用者在不改動模型程式碼的情況下,以相同 CLI 與 OpenAI API 介面在 Google Cloud TPUs 上執行推理。
Cloudflare 透過多項最佳化,將 AI 程式碼審查的推論費用從平均 $2.43 降至 $0.77,節省 68%。 - 時間縮短:平均審查時間從 4m 09s 下降至 1m 32s,最高層級審查平均 1m 54s。
Maxwell 是一款能在執行時即時重寫程式碼並進行形式驗證的模型,能在 CPU 與 GPU 上將資料處理與 AI 推理速度提升數倍。 - 效能提升:資料處理管線加速 38 倍,AI 推理核加速 4.25 倍,4K 影片生成速度提升 1.87 倍。
EC2 Image Builder 現已支援使用 ASG 中現有實例構建映像,省去啟動新實例的耗時。\n- 功能概述:在 Image Builder 基礎設施配置中指定 ASG,構建階段直接選取已執行的實例進行映像建立。
vLLM 在 1P1D 部署下,透過雙向 KV 轉移將 Qwen3‑32B 的 TTFT 降至 1.6 倍、GLM‑5‑FP8 降至 3.3 倍。 - TTFT:Qwen3‑32B 由 158 ms → 460 ms(長 prompt 24k),GLM‑5‑FP8 由 500 ms → 702 ms(20k)。
推薦理由:此研究證明雙向 KV 轉移能將多輪對話的 TTFT 降低 1.6x–3.3x,對需要高效推理的 agentic 應用具有實際效益。
Deepgram 以 AWS Trainium2 將 Nova-3 語音辨識模型移植並最佳化,提升離線批次推論效能與成本效益。 - 模型與平臺:Nova-3 以 PyTorch 透過 TorchNeuron 轉移至 Trainium2,單個 trn2.3xlarge 內可同時執行 8 個模型複本。
想把 AI 模型放到 TPU 上跑,開發者往往得另外處理硬體支援。RadixArk 的 SGLang 團隊與 Google、Meta 合作推出 SGLang-TorchTPU,讓 SGLang 能用 PyTorch 在 Google Cloud TPU 上提供模型服務,也支援多種開源模型和服務功能。文章列出已支援模型與功能,並說明有些專案仍在測試;Meta 已在正式環境使用這套服務。團隊也展示用 TPU 進行強化學習訓練的流程,但目前仍是預覽版,接下來會擴大型模型與訓練規模。
推薦理由:SGLang-TorchTPU 把同一套 PyTorch 推論服務帶到 TPU,並列出實際支援的模型與功能,可瞭解它目前能處理哪些部署需求。
Stripe 以 75 億美元收購 OpenRouter,將 AI 模型路由層納入其支付生態系,為開發者提供一站式多模型接入。 - 交易規模:總價 7.5 B 美元,其中 1.5 B 美元歸創辦人,餘額支付給投資者。
本文示範如何在 NVIDIA DGX Spark 上本機部署 n8n AI 工作流程,並透過 vLLM、LiteLLM 形成單一 OpenAI 相容端點,達成無雲端 API 的高效自動化。
summary_zh: Claude Code 透過 --worktree --tmux 旗標可自動建立 git worktree 與 tmux 會話,讓 AI coding agents 在斷線後仍保持執行。
Legora 以 Modal Sandbox 執行 2,000 次並行代理評估,驗證法律工作流程的可擴充套件性與環境真實度。 - 並行規模:每次實驗可同時執行 2,000+ 個 Sandbox,涵蓋 100 個案例、4 個 harness 變體、5 次試驗。
omdb 是一個用於觀察 Oxide 控制平面 DNS 傳播的除錯工具。它利用「背景任務」抽象,能即時回報資料庫中的 DNS 設定、各 Nexus 實例的傳播進度與結果,以及 DNS 伺服器的版本。
summary_zh: AI 能寫程式碼,誰來驗證? - Faros 2026 研究:22,000 開發者、4,000 團隊,AI 採用率高的組織中,BUG 54% 以上、PR 審查時間 5 倍、每 PR 事故 3 倍。