AWS Graviton5 推出 M9g/M9gd EC2 實例,效能與能效突破摩爾定律
Graviton5 推出 M9g/M9gd EC2 實例,帶來 30% 效能提升與 25% 能效最佳化。- 核心特性:192 核心、DDR5‑8800、PCIe Gen6、3nm 工藝,單核心提升 25%。
推薦理由:Graviton5 的 3nm 工藝與 192 核心帶來 30% 的效能提升,對需要高效能雲端運算的客戶可直接提升工作負載效能。
Graviton5 推出 M9g/M9gd EC2 實例,帶來 30% 效能提升與 25% 能效最佳化。- 核心特性:192 核心、DDR5‑8800、PCIe Gen6、3nm 工藝,單核心提升 25%。
推薦理由:Graviton5 的 3nm 工藝與 192 核心帶來 30% 的效能提升,對需要高效能雲端運算的客戶可直接提升工作負載效能。
AI 助理在多輪任務中會反覆呼叫模型和工具;如果訓練時重新整理對話,模型實際看過的內容可能被改掉。Miles 用 Token-In-Token-Out(TITO)原則,讓每一輪只把新內容接到原有 token 序列後面,並檢查它是否和完整對話重新產生的內容相符。文章舉例說明,文字轉回 token 時可能變成不同切法,聊天格式也可能刪掉先前的推理,或改變工具呼叫的空格。這些差異會讓訓練時的上下文和模型生成時不一致;Miles 也為不同模型處理格式邊界的差異,並列出目前支援的模型。
AI 助理要長時間分步完成工作,得能持續推理、使用工具,也要讀懂大量資料。NVIDIA 推出 Nemotron 3 Ultra,並宣佈 SGLang 和 Miles 從首日就支援:開發者可用 SGLang 執行模型,也能用 Miles 進行強化學習訓練。模型有 550B 個引數、最多 1M tokens 的上下文視窗,提供 BF16 和 NVFP4 版本。團隊也在 128 張 H200 GPU 上跑過訓練流程;這些是初步檢查,並非已收斂的訓練結果。
推薦理由:Nemotron 3 Ultra 同時提供模型推論與後訓練支援,文中也交代長時間多步任務的設計,以及 128 張 H200 GPU 的訓練初步檢查結果。
強化學習:基礎設施瓶頸與 Modal Dojo 解決方案 - 核心問題:RL 後訓練需要三大獨立基礎設施,包含可擴充套件的訓練引擎、近光速推論引擎以及可並行執行的環境沙盒;多節點擴充套件時權重同步成瓶頸。
Together AI 透過 TensorRT 多型別引擎、CUDA Graph 以及共享記憶體等技術,打造出全球最快的語音辨識堆疊,能在 10 秒內完成約 20 小時的語音轉錄。
圖片多的問題一次送進 VLM 時,負責看圖的工作會讓 GPU 忙不過來,使用者得等更久。SGLang 透過 Dynamo 把部分圖片處理工作交給 CPU,再用路由器依照 CPU 和 GPU 的忙碌程度分配請求。測試使用 Qwen3-VL-8B-Instruct,在每秒送出 1 到 2 個請求時,混用 CPU 和 GPU 的做法,首個文字回覆時間和處理請求量提升約 1.2 到 1.3 倍;每個輸出 token 的等待時間則減少約 1.3 到 30 倍。這顯示,把看圖工作分給 CPU,有機會讓忙碌時的服務更快。
Google Research 在部落格中公佈了一種零信任聚合方案,利用單次加密提交和TEE硬體隔離,提供了更高效的隱私分析。該方案基於晶格加密,客戶端可在單條訊息中提交資料,伺服器僅能解密聚合結果;TEE 進一步驗證協議執行。Google 已將此技術用於 SafetyCore、Pixel Recorder、Gboard 等 Android 裝置,以在不洩露使用者內容的前提下評估模型效能並提升安全性。
summary_zh: Devin 現在能在 Windows VM 內原生建置、執行與測試,將自主 AI 工程能力帶入全球最成熟的開發者生態系。 - 核心功能:在 Windows 環境下建置、執行、測試 .NET Framework 與 .NET Core 應用,並自動產生遷移程式碼,完成 .NET Framework → .NET Core 的遷移。
summary_zh: Applied Compute 透過強化學習,為 DoorDash、Cognition 與 Mercor 等企業打造專屬 AI 代理,並以 Modal 平臺實現高效、可靠的訓練迴圈。
Together AI 針對編碼代理工作負載,推出一套大規模推理基準測試,量化多使用者同時長上下文對 TTFT、TPS 及吞吐的影響。 - 工作負載特徵:提示長度 45k–200k tokens,平均生成 450 tokens,模擬實際編碼會話增長。
SGLang v0.5.10 新增的 CUDA IPC Pool Handle Cache 能讓多模態推理吞吐率提升 16%,平均延遲下降 10%。
DeepSeek-V4 Pro 現已於 Together AI 上線,提供 512K 上下文推理,並支援 1M 模型層級長上下文。 - 模型規格:1.6T 引數 MoE,49B 啟用引數,Hybrid Attention(Compressed Sparse + Heavily Compressed)。
summary_zh: - AE Studio 透過 Modal 平臺,將大語言模型(LLM)訓練成能在 Lean 語言中證明數學定理的 AI,並比較 GRPO 與 Evolution Strategies (ES) 兩種強化學習更新規則。
Together AI 於今日正式推出 NVIDIA Nemotron 3 Nano Omni 模型,並於同日即時提供開發者使用。 - 多模態推理:單一模型即可同時處理影像、影片、音訊與文字,支援 256K token 的共享上下文。
推薦理由:本篇說明 NVIDIA Nemotron 3 Nano Omni 在 Together AI 上,與 Agent 效能,對落地 Agent 的開發者具參考價值。
分佈感知推測解碼(DAS)能在 RL 後訓練中將回合時間縮短 50%,同時保持獎勵曲線不變。• 核心技術 採用字尾樹草稿器和長度感知排程,實現零成本自適應。
Physical Intelligence 透過 Modal 的 QUIC 埠與 GPU 容器建立低延遲通道,讓機器人能即時執行大模型。 - 核心架構:Visual‑Language‑Action (VLA) 模型將視覺、語言與本體感知輸入,輸出下一秒的馬達指令。
Modal 於 2026 年 4 月 7 日釋出 RTX Pro 6000 Blackwell、Command K、Sandbox FS API 及多項 SDK 更新,為 AI 開發者帶來更高效的工作流程。
| FlashAttention 於 2022 Memorial Day 週末由 Dan Fu、Tri Dao 等人發表,透過對 GPU 記憶體移動與計算模式的精準最佳化,達成 2–3 倍 的速度提升,成為 AI kernel 研究的基石。
Aurora 是一個基於 RL 的框架,能在實際推理流中持續學習並自動更新 speculator,將靜態的推理加速轉變為動態的自我最佳化迴圈。
推薦理由:Aurora 透過 RL 於實際推理流中自動調整,實現 1.25 倍速度提升與成本降低,提供可落地的即時最佳化方法。
Runway 與 Modal 合作,將 Runway Characters 的即時影片代理推理交給 Modal 的無伺服器 GPU 平臺。 - 低延遲多區域部署:Modal 的多節點 GPU 叢集與 RDMA 網路,支援全球即時推理,30 天內完成從概念到生產。
本文:Doppel 透過 Modal 重構 ML 執行流程,將實驗與推論的迭代時間大幅縮短。 - 實驗加速:Modal 允許在 Python 中以 map() 方式並行執行 K‑fold 交叉驗證,將原本順序跑的實驗改為同時執行,縮短回饋迴圈。
summary_zh: Supabase 透過 Stripe Projects 開發者預覽,能以單一指令即時建立 Postgres 資料庫、Auth、Storage、Edge Functions 與 Realtime 等服務,並將憑證寫入 .env,讓 AI 代理與開發者快速配置基礎設施。
Mamba‑3 是一款新型 SSM,專為推理效率設計,於 1.5B 模型層級下,預填+解碼延遲均優於 Llama‑3.2‑1B、Gated DeltaNet 及 Mamba‑2。
Together GPU Clusters 透過自動擴縮、RBAC、全棧可觀測性與自愈功能,將 GPU 叢集從實驗環境升級為可運營的生產級基礎設施。- 自動擴縮:使用 Kubernetes Cluster Autoscaler,根據實際工作負載自動調整 GPU 節點,避免過度預置與節省成本。
OpenClaw 是一款個人 AI 助手,可在你自己的硬體上執行,透過 WhatsApp、Telegram、iMessage 等即時通訊平臺管理郵件、日曆等任務。
Ramp 在 Modal 上構建了一個背景編碼代理 Inspect,可在雲端即時啟動完整開發環境,並在 Ramp 內部寫下超過一半的合併 Pull Request。
summary_zh: Replit 與 Databricks 共同推出 Databricks Apps 與 AppKit,讓企業能在 Replit 內即時開發並部署至 Databricks Apps,實現即時決策與 AI 驅動的資料應用。
Mistral AI 團隊詳細復盤了在 vLLM 分離部署測試中發現並解決隱蔽記憶體洩漏的完整過程。通過結合 pmap、BPFtrace 與 GDB 自動化指令碼,團隊最終定位到根源在於 UCX 記憶體管理模組的 mmap 鉤子機制與註冊快取佇列。通過設定環境變數 UCX_MEM_MMAP_HOOK_MODE=none 或限制未釋放區域數量,成功解決了該記憶體洩漏問題。
summary_zh: Marcus Williams、Cameron Raymond 與 Micah Carroll 展示了一套可擴充套件、隱私保護的生產評估流程,利用去識別化對話預測並追蹤模型對齊失調行為。
導語:Ollama 於 2025 年 9 月 23 日發布了全新的模型排程系統,透過精準記憶體測量提升 GPU 產能並降低 OOM 失敗。 - 精準記憶體測量:新引擎在執行前測量實際記憶體需求,避免過度分配。
Mistral Saba 是一個 24B 引數的區域語言模型,針對中東和南亞語言提供更快、更低成本的支援。 - 語言支援:阿拉伯語及多個印度語言,特別是南印度語言如泰米爾語。
Mistral Small 3 正式發布,提供 24B 引數、低延遲且可在單 RTX 4090 上執行。 - 效能:與 Llama 3.3 70B、Qwen 32B 相比,速度 3 倍以上;MMLU 準確率 81%,每秒 150 tokens。
Meta Llama 3.2 現已透過 Ollama 可本地執行,提供 1B、3B、11B、90B 四個版本。 - 1B、3B:純文字模型,專為手機或邊緣裝置最佳化,可即時處理訊息或行事曆摘要,並保留隱私。 - 11B、90B:視覺模型,支援檔案、圖表、圖片說明等影像推論。 - 所有模型皆為開源,使用者可自行下載 Ollama 並直接執行。
Mistral 7B 透過 Ollama 在瀏覽器端實現本地 LLM,搭配 LangChain、Voy 與 Transformers.js 完成 RAG 網頁應用。
推薦理由:本文示範如何利用瀏覽器端本地模型構建 RAG 應用,提供可直接套用於前端開發的實作範例,並說明如何透過 Ollama 與 LangChain 連結本地 LLM,降低成本與提升隱私。
Ollama 以官方 Docker 影像形式上線,提供本地部署大型語言模型的全新方式。 - 官方 Docker 影像:直接使用 ollama/ollama,無需自行構建。