推出 Together GPU 叢集可預約計算:相同算力,價格減半
Together AI 推出可預約計算功能,讓 GPU 叢集以 50% 之低成本執行可中斷工作。 - 計費方式:子小時計費,單價為按需費用的 50%。
推薦理由:預算敏感型工作負載可利用此功能以 50% 成本節省,並保持與標準節點相同的 GPU 基礎設施,支援 Ray Train 與 PyTorch Lightning。
運算晶片與實體硬體工程:GPU、TPU、CPU、RISC-V、ARM 架構、半導體製造與先進製程、嵌入式系統與單板電腦。
Together AI 推出可預約計算功能,讓 GPU 叢集以 50% 之低成本執行可中斷工作。 - 計費方式:子小時計費,單價為按需費用的 50%。
推薦理由:預算敏感型工作負載可利用此功能以 50% 成本節省,並保持與標準節點相同的 GPU 基礎設施,支援 Ray Train 與 PyTorch Lightning。
vLLM 官方部落格宣佈推出對 NVIDIA Nemotron 3.5 Lightning 的 Day-0 支援,這是一款專為全天候AI 助理(Agent)設計的可自訂開源混合式 MoE 模型,並透過多種推論加速技術提升吞吐量。
推薦理由:vLLM 宣佈首發支援 NVIDIA Nemotron 3.5 Lightning 模型,讀者可透過內文提供的配置指令與架構最佳化方案評估高吞吐量部署。
vLLM 在 Arm Neoverse CPU 上的服務效能大幅提升。 - 可用性:新增預建 wheels、Docker、INT8、INT4 推理支援,並支援 GPT‑OSS、Whisper、Qwen 3.5/3.6。
推薦理由:本報告詳述 vLLM 在 Arm CPU 上的效能最佳化,對於需在低成本硬體上部署 LLM 的工程師提供可落地的改進方案。
讓 AI 模型邊產生回答、邊更新訓練時,兩套系統算出的結果要保持接近,量化權重更新也不能弄亂模型狀態。AMD 與 Miles 團隊讓 DeepSeek-V4 Flash 在 ROCm 上透過 SGLang 產生回答、由 Megatron 訓練,再把更新後的權重送回去;他們也調整了兩邊處理模型的方式,並在 4 個節點上完成超過 100 次訓練步驟。測試中,離線 AIME-2024 的 pass@1 從 0.39 升到 0.49,pass@8 從 0.53 升到 0.67;團隊提醒,單次成績會有起伏,應觀察整體走勢。
推薦理由:這次實作呈現 SGLang 與 Megatron 如何在多次更新權重後維持接近的模型行為,並以離線測試追蹤訓練變化。
Together AI 在 ICML 2026 展示了九篇跨層研究,從代理到 GPU 核心,涵蓋模型、演算法、系統與硬體最佳化。 - 代理層:DSGym 1,000+ 任務、10+ 領域;ThunderAgent 3.6× 推理吞吐量、3.9× RL 迭代速度提升。
推薦理由:Nine ICML 2026 論文涵蓋從代理到 GPU 核心的全棧研究,讀者可洞悉跨層最佳化的實際效能與落地策略,並展示多層協同效益與實際部署案例。
Graviton5 推出 M9g/M9gd EC2 實例,帶來 30% 效能提升與 25% 能效最佳化。- 核心特性:192 核心、DDR5‑8800、PCIe Gen6、3nm 工藝,單核心提升 25%。
推薦理由:Graviton5 的 3nm 工藝與 192 核心帶來 30% 的效能提升,對需要高效能雲端運算的客戶可直接提升工作負載效能。
AWS 推出 M9g 與 M9gd 實例,搭載 Graviton5 CPU 並內建經 Isabelle/HOL 驗證的 Nitro 隔離引擎,為雲端使用者提供數學保證的虛擬機器隔離。
推薦理由:AWS 推出基於 Graviton5 的 M9g/M9gd 實例,配備正式驗證的 Nitro 隔離引擎,提供雲端使用者更高效能與數學保證的安全隔離,並開源驗證工具,促進雲端安全與效能的雙贏。
華為的 Ascend AI 加速器製造正在擴張,TSMC 的 Die Bank 供應支撐 2024‑2025 年量產,但 HBM 記憶體短缺成為主要瓶頸。 - Ascend 910B/910C 產量:2024 年 507k(大多為 910B),2025 年 805k(其中 653k 為 910C)。
推薦理由:文章深入剖析華為升級製造與 HBM 供應瓶頸,幫讀者評估中國 AI 計算自給自足的可行性與風險,並評估未來出口管制對全球 AI 生態的影響。