Modal 產品更新：Sandbox Sidecars、新模型與全新儀錶板
Modal 產品更新 - 多模型支援：Kimi K3、Qwen 3.8、GLM 5.3 及 GLM 5.3 Flash 皆可即時使用，提供 Shared Endpoint（token 計費）與 Dedicated Endpoint（GPU 秒計費）。
推薦理由：Modal 新增多模型支援與沙盒功能，提供多種 Endpoint 計費模式與更細緻的使用者預算控制，協助開發者快速部署與調整成本。
部署工程
全部主題把模型跑起來的工程實踐：推理最佳化、視訊記憶體與成本、Serving 架構與基礎設施選型。
204條精選相關主題開源生態資料與訓練邊緣端 / 裝置端 AI
最新精選
第 141–160 條 · 共 204 條Modal Engineering Blog精選品質評分6969
Vercel Blog精選品質評分6363 Tailscale 如何利用 AI Gateway 建立客戶面向的模型路由器
Tailscale 利用 Vercel AI Gateway 快速搭建了客戶面向的模型路由器，並提供零資料保留與低延遲的安全執行環境。 - 核心功能：透過單一 API 管理數百個模型，並自動回傳成本與使用量。
vLLM Official Blog精選品質評分6161 MiniMax M3 在 AMD Instinct MI355X 上的瓶頸最佳化
MiniMax M3 在 AMD Instinct MI355X 上完成一系列最佳化，吞吐量從 109.1 到 342.4 tokens/s/GPU（32 輸入併發）提升 3.14 倍，TTFT 下降 54%。
推薦理由：此文展示 MiniMax M3 在 AMD Instinct MI355X 上的吞吐量提升與最佳化方法，讀者可參考其技術細節與實驗流程，評估是否適用於自家部署。
Together AI Official Blog精選品質評分7474 推出 Together GPU 叢集可預約計算：相同算力，價格減半
Together AI 推出可預約計算功能，讓 GPU 叢集以 50% 之低成本執行可中斷工作。 - 計費方式：子小時計費，單價為按需費用的 50%。
推薦理由：預算敏感型工作負載可利用此功能以 50% 成本節省，並保持與標準節點相同的 GPU 基礎設施，支援 Ray Train 與 PyTorch Lightning。
vLLM Official Blog精選品質評分7979 vLLM 推出多層 KV 快取分層，提升 GPU 記憶體利用率與多使用者吞吐量
vLLM 於 2026 年 9 月 10 日發布的 Tiered KV Cache Offloading 方案，將長上下文模型的 KV 快取分層到主機記憶體、檔案系統、物件儲存與遠端節點，避免重複預填。
推薦理由：vLLM 透過多層 KV 快取分層，降低 GPU 記憶體壓力，提升多使用者會話吞吐，並支援跨節點共享與自動熱啟動，讀者可直接應用於大模型部署。
Together AI Official Blog精選品質評分7171 ThunderKittens 於 NVIDIA Vera Rubin NVL72 平臺正式啟用
ThunderKittens 已在 NVIDIA Vera Rubin NVL72 上完成最佳化，能以 NVFP4 與 FP8 格式執行 GEMM。 - 新 ISA 功能：Vera Rubin 支援 64‑byte K 步、576 欄張量記憶體、328 KiB 共享記憶體，並新增 B‑side collector 與 early A release 指令。
推薦理由：本篇說明如何將 ThunderKittens 針對 NVIDIA Vera Rubin NVL72 進行最佳化，展示新 ISA 功能對 GEMM 效能提升的具體做法，對 GPU kernel 開發者具有實務參考價值。
openrouter blog精選品質評分7373 OpenRouter 推出美國與歐洲區域路由，確保 AI 工作負載在地處理
OpenRouter 推出美國與歐洲區域路由，確保 AI 工作負載在地處理並符合資料主權需求。 - 區域端點：請使用 https://us.openrouter.ai/api/v1 或 https://eu.openrouter.ai/api/v1，請求在該區域內解密並處理，僅允許該區域內的供應商服務。
推薦理由：此功能可確保 AI 工作負載在美國或歐洲區域內完成，符合資料主權需求，並支援企業級計畫，提供多種模型選項。
Mistral AI精選品質評分7878 Mistral 以30億歐元融資，推動主權開放權重 AI 成為技術前沿
Mistral AI 近日完成 30 億歐元 Series D 融資，後市估值逾 210 億歐元，創歐洲科技公司最大融資紀錄。融資由三星電子領投，Scaleup Europe Fund、PSG Equity 等跟投，資金將用於擴充套件前沿研究、提升訓練算力、加速商業化與國際佈局。Mistral 目前已在 20 個國家運營，支援 125 家全球企業的關鍵 AI 轉型。
推薦理由：Mistral 通過 30 億歐元融資，進一步加速其全棧開放權重 AI 的研發與商業化，凸顯企業對自主 AI 解決方案的需求增長。
vLLM Official Blog精選品質評分6464 vLLM 官方推出 Tenstorrent 外掛程式支援多款開源模型
Tenstorrent Team 發布 vLLM TT Plugin，透過標準的平臺外掛機制將 Tenstorrent 硬體引入 vLLM 生態系統，維持與 OpenAI 相容的 API 介面並支援多款主流開源模型。
推薦理由：文章詳細介紹將 Tenstorrent 加速器整合至 vLLM 的外掛程式設計與架構取捨，有助於開發者瞭解如何在非 GPU 硬體上部署大語言模型。
david888podcast精選品質評分6363 GPT-6 Astra 震撼登場，SSRF 驗證漏洞全盤剖析
本集深入探討 GPT-6 Astra 的外掛筆記機制與安全限制，並分析多項技術與安全議題。 - GPT‑6 Astra：外掛筆記機制、Qwen 3.8 27B 可於 Cerebras 以 1500 tokens/s 執行。
推薦理由：本文透過對 GPT-6 Astra 與 SSRF 防禦的深入剖析，說明新模型在安全設計與成本效益上的關鍵挑戰，並提供可行的最佳化建議。
vLLM Official Blog精選品質評分6969 MiniMax H3 在 vLLM-Omni 上：從全系統最佳化到 FastVideo FastH3 即時服務
MiniMax H3 在 vLLM-Omni 上的全系統最佳化與 FastVideo 的 FastH3 低延遲即時服務。文章詳細說明從全系統最佳化到 FastH3 的四步驟，並提供實際測試結果。
推薦理由：本文詳細說明從全系統最佳化到 FastH3 低延遲即時服務的實作流程，對想部署 MiniMax H3 的工程師提供可落地的參考。
DevClass (Developer News)精選品質評分6666 Kubernetes 1.37 退役 kube-dns、IPVS 與 cgroup v1，將 Metrics API 轉為正式版
Kubernetes 1.37 透過移除舊功能與提升 Metrics API 可靠性，讓使用者更安心運營 AI 與容器工作負載。 - 版本概覽：共 67 個變更，包含 16 個穩定功能、23 個測試版、27 個 Alpha 以及 1 個棄用功能。
推薦理由：Kubernetes 1.37 透過移除舊功能與提升 Metrics API 可靠性，讓使用者更安心運營 AI 與容器工作負載。
openrouter blog精選品質評分6767 OpenRouter 影片生成 API：程式碼優先指引
OpenRouter 透過統一的非同步影片生成 API，讓開發者一次提交、輪詢、下載即可支援 Seedance、Veo、Wan 等多款模型。 - 工作流程：POST /api/v1/videos 提交工作 → 監控 job‑status → 下載 MP4。
推薦理由：統一的非同步 API 讓多模型影片生成變簡單，利於快速測試與成本掌控。
vLLM Official Blog精選品質評分7272 vLLM 透過 Ray Direct Transport (RDT) 實現大規模分片權重傳輸
本教程說明如何在 vLLM 中使用 Ray Direct Transport (RDT) 進行大規模分片權重傳輸，將同步時間從 64.72 秒縮短至 3.49 秒，實現 1,049 GB/s 的頻寬。
推薦理由：此教程展示如何利用 Ray Direct Transport 將大型模型權重同步時間縮短至 3 秒，對於需要頻繁更新的 RL 伺服器提供實用的效能最佳化方法。
Supabase Blog精選品質評分6666 Supabase‑js 允許客戶端追蹤連結至後端日誌
Supabase‑js 允許客戶端追蹤連結至後端日誌，透過 W3C Trace Context 將 trace_id 傳遞至 Supabase API Gateway 與 Edge Function 日誌。
推薦理由：原文說明如何在 supabase‑js 啟用 W3C Trace Context，讓前端追蹤與後端日誌能以同一 trace_id 連結，提升跨系統除錯效率。
Hugging Face Blog精選品質評分6666 Dharma AI 推出 GPU 管理排程器：通過最佳化分配順序顯著提升叢集利用率
Dharma AI 推出一種約束感知 GPU 分配器，通過將即時推理需求建模為動態曲線並結合優先順序排程，在不更換硬體的情況下使叢集利用率提升高達 33 個百分點。該分配器在多個基準測試中展現出更高的吞吐量與優先順序加權產出，同時保持極低的決策延遲。
推薦理由：原文介紹了約束感知 GPU 分配器的設計與多場景基準測試結果，讀者可以瞭解如何通過最佳化排程順序提升叢集利用率。
Together AI Official Blog精選品質評分7171 Together AI 平臺實際流量中進行模型 A/B 測試
Together AI 平臺允許在實際流量中對 LLM 進行 A/B 測試，透過端點層級的實驗配置，確保流量分配、指標追蹤與版本升級的完整流程。\n- 實驗設定：端點僅包含控制端點，變體部署權重為 0，透過百分比分配 95/5 → 80/20 → 50/50。
推薦理由：本文說明如何利用 Together AI 平臺在實際流量中進行 A/B 測試，並示範從 95/5 到 50/50 的漸進調整與指標監控，幫助工程師快速驗證新模型效能。
Mistral AI精選品質評分7373 Mistral 推出區域推理、開放模型與歐洲主權 AI 基礎設施
Mistral AI 宣佈推出區域推理端點和優先服務層，支援在歐洲或美國執行推理，並提供 1 GW 計算容量目標。公司還將平臺開放給第三方模型，首批支援 Z.ai 的 GLM‑5.2，所有模型均在同一基礎設施下滿足區域控制與 SLA。為保障歐洲長期 AI 計算需求，Mistral 正與企業組建聯盟，形成歐洲計算單元（ECU）以鎖定多年容量。
推薦理由：Mistral 推出區域推理端點和開放模型支援，幫助企業實現 AI 主權與合規。
vLLM Official Blog精選品質評分7777 vLLM 在 Qwen3.5 上達成每 GPU 25K 總 TPS
vLLM 透過社群貢獻的最佳化核心與異構快取設計，讓 Qwen3.5 在 GB200 NVL72 系統上每 GPU 總 TPS 超過 25,000。
推薦理由：本文提供可實踐的最佳實踐與配置，藉助 vLLM 社群貢獻的最佳化核心與異構快取設計，幫助開發者在 Qwen3.5 上達成 25K TPS/GPU 的高效推理，並可快速複製至自家環境。
GitHub Engineering精選品質評分8080 GitHub 透過堆疊 Pull Request 讓 AI 產生的巨型 PR 變成可審核的分層流程
本文示範如何將 AI 產生的大型 Pull Request 轉為可審核的分層流程。 - Stacked Pull Requests：將功能拆解成多層 Pull Request，每層以前一層為基底。
推薦理由：本文示範如何利用堆疊 PR 讓 AI 產生的巨型 PR 變成可審核的分層流程，對提升團隊審核效率與衝突管理尤為重要。