最新精選
第 301–320 條 · 共 378 條大型 MoE 模型流量增加時,常見做法是多開一份完整服務,或停機重啟來增加 GPU;兩種方式都會帶來額外成本或等待時間。這篇文章說明 SGLang 如何讓運作中的服務逐步加入 GPU,例如把 20 張 GPU 擴到 24 張,準備新 GPU 時原本的服務仍可工作。擴充前要先設定可達到的 GPU 上限,預留的通訊記憶體越多,留給 KV cache 的空間就越少。文中在 8 張 H100 上比較,擴充後首次完成請求的時間比重啟快 5.3 到 8.2 倍;轉換期間則會暫停傳送 token。
推薦理由:文章說明 SGLang 如何在服務持續運作時分批加入 GPU,並比較轉換時間與輸出速度,可用來評估大型 MoE 部署的擴充方式。
- vLLM Official Blog精選品質評分7373
vLLM 推出 TorchTPU 後端,讓多數既有 vLLM 模型可在 Google Cloud TPU 上執行,無須修改模型程式碼。 - 服務介面:沿用 vLLM 的 CLI、OpenAI 相容伺服器、排程器與 KV cache 管理器,並支援六種平行化維度。
推薦理由:vLLM TorchTPU 延用既有模型程式碼與服務介面,呈現 TPU 後端如何減少模型移植工作並保留原有部署流程。
- AWS Machine Learning Blog精選品質評分7777
vLLM 在 1P1D 部署下,透過雙向 KV 轉移將 Qwen3‑32B 的 TTFT 降至 1.6 倍、GLM‑5‑FP8 降至 3.3 倍。 - TTFT:Qwen3‑32B 由 158 ms → 460 ms(長 prompt 24k),GLM‑5‑FP8 由 500 ms → 702 ms(20k)。
推薦理由:此研究證明雙向 KV 轉移能將多輪對話的 TTFT 降低 1.6x–3.3x,對需要高效推理的 agentic 應用具有實際效益。
想把 AI 模型放到 TPU 上跑,開發者往往得另外處理硬體支援。RadixArk 的 SGLang 團隊與 Google、Meta 合作推出 SGLang-TorchTPU,讓 SGLang 能用 PyTorch 在 Google Cloud TPU 上提供模型服務,也支援多種開源模型和服務功能。文章列出已支援模型與功能,並說明有些專案仍在測試;Meta 已在正式環境使用這套服務。團隊也展示用 TPU 進行強化學習訓練的流程,但目前仍是預覽版,接下來會擴大型模型與訓練規模。
推薦理由:SGLang-TorchTPU 把同一套 PyTorch 推論服務帶到 TPU,並列出實際支援的模型與功能,可瞭解它目前能處理哪些部署需求。
低延遲推論常需要為不同模型和 GPU 寫專用程式碼,難維護,也會拖慢回應。SGLang 推出低延遲模式,透過外掛接上 NVIDIA 與 AMD 的專用核心,並讓一般執行流程繼續處理外掛不支援的情況。在 AgentX 測試中,四張 NVIDIA GB300 GPU 的單一連線速度從每秒 671.2 個 token 提升到 928.4 個;四張 AMD MI355X GPU 在四個連線時,則從 331.6 提升到 516.0。兩組結果都是和相同硬體上的 SGLang 基準比較。
推薦理由:文章比較 NVIDIA 與 AMD GPU 上的實測結果,也說明外掛如何讓專用核心接上 SGLang,呈現低延遲最佳化的效能與維護取捨。
- AWS Machine Learning Blog精選品質評分7474
Reflection Beam 是一款 501B 引數、23B 活躍引數的開源權重模型,針對 Agentic Coding 與多步驟工作流程設計。 - 核心規格:501B 總引數、23B 活躍引數,效能可達 1M token 上下文長度;提供 BF16、FP8、NVFP4 三種檢查點格式。
推薦理由:Reflection Beam 提供 501B 引數、23B 活躍引數的開源權重模型,開發者可在 SageMaker JumpStart 或 HyperPod 直接部署,支援多步驟程式編寫、工具呼叫與中間結果處理,為 agentic coding 提供完整堆疊,並可透過 SGLang 或 vLLM 進行自訂執行時引數調整,滿足不同硬體與效能需求。
- vLLM Official Blog精選品質評分7272
vLLM 團隊利用代理協助開發,為 NVIDIA GB300 上的 Kimi K3 建構統一的 CuTe DSL 解碼路徑,實現 842 tokens/s 的解碼速率(比原版快 1.73 倍)並提升 P90 互動性至 403.2 tokens/s。
推薦理由:本文說明如何利用代理開發加速 Kimi K3,並提供可複製的驗證流程,對想提升 GPU 端推理效能的工程師具有實務參考價值。
- cloudflare blog精選品質評分8282
Cloudflare 釋出全新可程式設計安全閘道器功能,將 Workers 內嵌於 Gateway 政策評估,允許客製化程式直接執行於邊緣。 - Forward:新政策動作,將符合條件的 HTTP 請求轉發至 Cloudflare Worker,支援請求/回應變更與後端處理。
推薦理由:Cloudflare 透過 Workers 讓安全閘道可執行客製化程式,提升防護彈性與效率
大型模型要用在長時間的程式開發任務,伺服器得處理很長的對話,也要讓 AI 助理快速接續工作。SGLang Team 說明 SGLang 如何支援 Reflection 的 Beam,並分享快取對話內容、加速生成和調整模型運算的做法。測試使用 4 張 NVIDIA GB300 顯示卡重播多輪程式開發對話;在 32 個對話同時進行時,每張顯示卡每秒處理 127.6K 個 token,每位使用者的中位速度為每秒 185.87 個 token。這些數字來自特定測試設定,可用來瞭解 SGLang 如何服務 Beam。
推薦理由:文章整理 SGLang 支援 Beam 的部署與效能測試,並交代測試使用的硬體、工作負載和快取情況,方便評估結果適用的服務情境。
- cloudflare blog精選品質評分7373
VoidZero 在 Cloudflare 部落格上宣佈推出三款開源工具: - Void Platform:共享部署平臺,可在 Cloudflare Workers for Platforms 上託管 Void 應用,支援自訂部署工作流程、資源限制與使用者管理。
推薦理由:VoidZero推出的Void Platform、SDK和CLI整合Vite工作流,降低全棧開發與部署成本,適合團隊快速原型與內部應用。
- AWS Machine Learning Blog精選品質評分7272
本文說明在 Amazon SageMaker AI 上,如何透過 Hopper GPU 的 kernel 工程最佳化,提升 Mixture‑of‑Experts(MoE)模型的吞吐量與回應速度。
推薦理由:本文說明在 Hopper GPU 上對 MoE 核心進行工程最佳化,可提升 10% 以上吞吐量與 9% TTFT,並提供可直接套用的 vLLM 改進。
Supabase 在 10 月 2 日於 Supabase Select 釋出 Declarative Schemas 2.0,將原本的 migra diff 工具換成全新開源的 pg-delta。
推薦理由:Supabase CLI 2.0 以 pg-delta 取代 migra,全面覆蓋 RLS、授權、檢視、分割槽等,讓 schema 版本控制更完整且易於維護
- vLLM Official Blog精選品質評分7676
MAGI‑2 Preview 在 Moore Threads MUSA 上以 565 毫秒/步的速度完成 100 步音視訊生成,較首次 15.6 秒/步提升 27.6 倍。
推薦理由:本報告展示 MAGI‑2 Preview 在 Moore Threads MUSA 上的效能提升,從 15.6 秒降至 565 毫秒,為大規模音視訊生成提供可行的硬體加速方案。
新一代 GPU 換了硬體,原本的模型服務和訓練程式也得重新調整,才能把運算資源用得更好。SGLang 團隊在 NVIDIA Vera Rubin 上測試推論與訓練:他們調整注意力、專家模型和資料傳送等程式,讓 Kimi K3 在特定設定下跑得更快;例如,合併多個小步驟後,每次生成少了 276 次程式啟動,整體速度提升 5.9%。Miles 也能在這套硬體上進行強化學習訓練,包含讓 AI 助理在沙盒環境中解題。這些是初步測試,團隊接下來會擴大規模並繼續改善效能。
推薦理由:這篇實測拆解 Vera Rubin 上的推論與訓練調整,並列出各項改動帶來的速度差異,可看出硬體資源如何影響 SGLang 的最佳化方向。
- Epoch AI Updates精選品質評分8686
導語:本報告以 Epoch 內部任務測試前沿模型,揭示其在實務場景中仍缺乏自動化能力,對 AI 產品化提供洞見。- 主要發現:Claude Fable 5.1 與 GPT‑6 Astra 在結構化任務上表現穩定,但在開放式設計、研究判斷與實驗設計等方面仍有明顯缺口。
推薦理由:本報告以 Epoch 任務測試前沿模型,揭示其仍缺乏自動化能力,對 AI 產品化提供洞見。
- AWS Machine Learning Blog精選品質評分8181
AWS DevOps Agent 事件調查完成後,系統利用 Lambda Durable Functions、EventBridge 與 Amazon Bedrock 建立自動化修復工作流,將調查摘要轉成可執行的修復方案,並在必要時透過人工批准完成變更。
推薦理由:如何結合 Lambda Durable Functions 與 Bedrock,處理 DevOps Agent 事件,縮短 MTTR。
- AWS Machine Learning Blog精選品質評分7373
AgentCore 與 OpenClaw 的結合,讓開發者能以單一 CloudFormation 模板在 AWS 上快速部署具備長期記憶的 AI 助手。
推薦理由:本文示範如何利用 AgentCore 與 OpenClaw 建構可持續記憶的 AI 助手,並說明成本與部署方式,對想在 AWS 上快速落地個人化助手的開發者具有參考價值。
- AWS Machine Learning Blog精選品質評分7373
Amazon Quick 與 Adjudicated Query 模式可讓合規團隊在數千份租約中進行可驗證且可防禦的掃描。 - 核心概念:Adjudicated Query 將自然語言查詢對映到固定操作,確保決策由 deterministic rules engine 做出。
推薦理由:此文章示範如何使用 Amazon Quick 搭配規則引擎,實現可驗證的租約合規掃描,對於需要完整性與可防禦性的合規團隊具有參考價值。
- cloudflare blog精選品質評分8383
Cloudflare 近日將先前僅限企業方案的功能擴充套件至所有方案,並提升多項使用上限。 - Logpush & Transformers:從 Enterprise 方案擴至免費、Pro、Business,支援更廣泛的資料來源與 SQL 過濾。
推薦理由:Cloudflare 讓企業級功能普及至所有方案,顯著提升小型客戶的使用效能與可擴充套件性
- AWS Machine Learning Blog精選品質評分7272
本文說明如何在 AWS 上使用情境多臂賽局,提升獲客漏斗轉換率,並提供完整程式碼與架構示例。 - 核心成效:在七週 A/B 測試中,部分客群最終漏斗轉換率提升高單位數字,另一客群無提升。
推薦理由:本文說明如何在 AWS 上運用情境多臂賽局提升轉換率,並提供完整程式碼與架構示例,適合想落實個性化推廣的工程師。