跳到正文

部署工程

把模型跑起來的工程實踐:推理最佳化、視訊記憶體與成本、Serving 架構與基礎設施選型。

最新精選

第 281–300 條 · 共 378 條
10月28日週三
  1. AWS Machine Learning Blog81

    SOCI 索引容器加速 SageMaker AI 作業

    SOCI 索引容器可將 SageMaker AI 作業的容器下載時間從數分鐘縮短至秒級,並降低成本。 - 下載時間:從 48 秒(1.8 GB)到 7 分 17 秒(35.4 GB)縮減至 3–11 秒,提升約 10–35 倍。

    推薦理由:SOCI 索引可將 SageMaker AI 容器啟動時間從分鐘降至秒級,顯著降低成本並提升迭代效率。

10月27日週二
  1. Google Developers Blog79

    Google Cloud 上設計受控自我演化 AI 代理

    Gemini Agent 在 Google Cloud 上實現自我演化 AI,能在 Black Friday 風暴中將 5xx 錯誤率從 80% 降至 0%,並於 1.8 秒內完成修復。

    推薦理由:Gemini Agent 演化 AI,於 Black Friday 風暴將 5xx 錯誤率從 80% 降至 0%,並於 1.8 秒內完成修復,顯示雲端運維自動化。

  2. Google Developers Blog68

    Model Explorer 為自訂邊緣編譯器帶來視覺化圖形除錯

    Model Explorer 讓開發者視覺化檢視模型編譯流程,輕鬆定位 NPU 交付與效能瓶頸。 - 支援多種模型格式:TOSA、VGF、PTE、PyTorch 等;Arm 為 TOSA/VGF/PTE 開發外掛。

    推薦理由:Google AI Edge Model Explorer 讓開發者能以視覺化方式檢查模型編譯流程,快速定位 NPU 交付與效能瓶頸。

  3. AWS Machine Learning Blog75

    SageMaker SDK v3 支援邊緣端多機臺電腦視覺生命週期管理

    SageMaker SDK v3 以自動化方式支援多機臺電腦視覺模型生命週期,涵蓋訓練、品質門檻、編譯與部署。 - 核心流程:雙分支 Pipeline 分別訓練異常偵測器與缺陷分類器,並以質量門檻(AUROC≥0.8、平衡準確率≥0.6、缺陷召回率≥0.5)篩選模型。

    推薦理由:此範例示範如何在 AWS 上以自動化方式管理多機臺的電腦視覺模型,讀者可參考其訓練、品質門檻與編譯流程以提升實務部署效率。

10月26日週一
  1. Publickey (日系頂級架構誌)82

    AWS 與 Google Cloud 公開 TorchNeuron 與 TorchTPU,PyTorch 對接自家 AI 處理器

    TorchNeuron 以 .to('neuron') 方式切換,保持 API 完全相容,並整合 Neuron Kernel Interface 以支援自訂運算元與效能最佳化。

    推薦理由:TorchNeuron 與 TorchTPU 的開源發布,使開發者可在 AWS Trainium 與 Google Cloud TPU 上以最小改動實現高效推理與訓練,顯著降低遷移成本。

  2. LMSYS Org Blog82

    SGLang 揭露 KVCache 隔離漏洞,說明修補方式與受影響部署

    SGLang 說明一種可能讓不同使用者的請求資料混在一起的漏洞:在分離式 Prefill/Decode 部署中,請求中止後,已送出的 KVCache 傳輸仍可能寫入已分配給另一個請求的記憶體槽位。Cloudflare 回報,Workers AI 上的 GLM-5.3 部署在 8 月 27 日至 9 月 9 日受影響;調查發現請求可能讀到其他使用者工作階段的內容。SGLang 團隊在實際硬體重現了資料外洩,也加入延後釋放槽位的修補,等傳輸完成確認後再回收。使用 Mooncake 或 NIXL 的部署可升級至 v0.5.21;MORI 支援與其他修正則需 v0.5.22。

    推薦理由:文章拆解非同步 KVCache 傳輸如何在請求中止後覆寫其他請求資料,並說明延後回收記憶體槽位的防護方式。

10月25日週日
  1. LMSYS Org Blog66

    miniTE 技術報告:用 NVFP4 加速強化學習,並處理訓練不穩問題

    大型語言模型用低精度運算可以省時間,但訓練到後期可能變得不穩,模型在訓練和生成時算出的機率也可能對不上。這份技術報告提出兩種做法:TRIAGE 會依照誤差和更新方向調整訓練;miniTE 則整理量化和運算方式,讓研究者比較誤差並加快運算。在 8×B300 的測試中,miniTE 搭配 BF16 反向運算,完整訓練更新速度約為 BF16 的 1.33–1.37 倍;另一項固定輸出的測試,生成速度約為 BF16 的 1.64 倍。不過,線上強化學習中轉換和同步權重會抵銷部分取樣收益,實際訓練的五項任務平均成績也仍低於 BF16。

    推薦理由:報告分開比較數值誤差、訓練表現與完整更新速度,呈現低精度運算在實際強化學習流程中的取捨。

10月24日週六
  1. cloudflare blog73

    Origin Range Requests:不需調整範圍請求即可高效傳輸大檔案

    Cloudflare 於 2026 年 10 月推出 Origin Range Requests,透過自動分段處理,將大檔案的 p99 首位元組延遲降至一半,並減少 6% 的分層快取流量。

    推薦理由:本篇說明 Cloudflare 如何透過 Origin Range Requests 大幅降低大檔案傳輸延遲與網路成本,對 CDN 效能與成本管理有直接參考價值,並可應用於其他 CDN 或分散式快取環境。

  2. LMSYS Org Blog67

    SGLang 如何在 DeepSeek-V4.1-Flash 基準中比肩 DeepInfer

    部署 DeepSeek-V4.1-Flash 時,除了跑得快,也需要快取、請求分流和負載平衡等完整服務功能。SGLang 團隊用 DeepInfer 自家的基準,在相同硬體上比較兩套系統:預填測試中,SGLang 的吞吐量最高達 DeepInfer 的 1.04 倍;64 張 GB300 的解碼測試中,每一步最多短 7.4%,部分測試則表現相近。SGLang 也整合 DeepSeek 的多種核心運算方式,並提供快取重用、分開處理預填與解碼,以及在多個模型副本間分配請求等功能。這篇比較呈現了速度測試和完整推論服務的差異。

    推薦理由:同一硬體與 DeepInfer 自家基準下的比較,呈現 SGLang 在預填與解碼的表現,也說明完整推論服務還包含哪些元件。

10月23日週五
  1. Modal Engineering Blog76

    Sakana AI 發布 1T 引數模型

    Sakana Namazu 是一個約 1 兆引數的 Mixture‑of‑Experts (MoE) 模型,針對日本商業語境、網路搜尋與程式執行進行最佳化。

    推薦理由:文章展示瞭如何以 NVFP4 量化與自訂草稿模型,將 1T 引數模型在 GPU 叢集上以低成本高吞吐量部署,對於需要大規模推理的企業具有可借鏡的實作方法。

  2. Amazon Science82

    Amazon 推出 TorchNeuron,讓 PyTorch 程式在 AWS Trainium 上執行

    Amazon 宣佈推出開源 PyTorch backend TorchNeuron,可將 PyTorch 程式轉換為能在 AWS Trainium 系統上執行的操作,既有程式通常只需少量或不需修改。

    推薦理由:文章說明 TorchNeuron 如何透過分層快取、adaptive eager 模式與分階段測試支援 PyTorch 在 Trainium 上執行,呈現其執行效率與相容性設計。

  3. AWS Machine Learning Blog76

    使用 Amazon SageMaker Training Session APIs,寫自己的訓練迴圈,無需管理 GPU

    Amazon SageMaker 推出 Training Session APIs,讓開發者可在本地寫自訂訓練迴圈,卻仍由雲端 GPU 執行,省去手動配置叢集。

    推薦理由:瞭解 Amazon SageMaker 新增的 Training Session APIs,可在本地編寫自訂訓練迴圈,同時享受雲端 GPU 管理與自動擴縮的便利。

  4. AWS Machine Learning Blog81

    停止猜測 Amazon SageMaker AI 上 TTS 的自動擴縮目標

    Kokoro‑82M 在 Amazon SageMaker AI 上被部署為自訂容器,並以兩項實測資料取代預設的 auto‑scaling 引數。 - Q_max:單一實例在 95% SLO(3,000 ms)下可支援最高 50 個併發請求,超過即會違規。

    推薦理由:本篇示範如何以實測資料取代預設 auto‑scaling 引數,並提供完整的測試流程與驗證機制,幫助開發者在 SageMaker 上部署高效、可靠的 TTS 服務。

10月22日週四
  1. NVIDIA Blog84

    NVIDIA Cosmos 開啟新工具,協助訓練、評估與部署世界模型

    NVIDIA Cosmos 於近日推出一系列新工具與藍圖,旨在加速世界模型的訓練、評估與部署。 - Cosmos Data Factory:提供多模態、跨感官資料標註、增強與評估的雲端原型,支援自動駕駛、工業檢測等多種場景。

    推薦理由:NVIDIA Cosmos 透過新工具與藍圖,讓企業可快速生成多模態訓練資料,並大幅縮短自動駕駛測試週期。

  2. NVIDIA Blog76

    歐洲金融機構領先採用開源模型打造專屬智慧

    導語: NVIDIA 官方部落格報導歐洲金融機構如何利用 NVIDIA GPU 加速開源模型,從 Revolut 的 PRAGMA 到 Stripe 的 Radar,展示了成本與效能的顯著提升。

    推薦理由:文章說明歐洲金融機構如何利用 NVIDIA GPU 加速開源模型,展示成本與效能的顯著提升,對類似行業的部署策略具有參考價值。

  3. AWS Machine Learning Blog72

    使用 torchtitan 在 AWS Trainium 上訓練 Qwen3

    Qwen3 可在 AWS Trainium 上透過 torchtitan 執行訓練,本文提供三種配置方式與完整指令。 - 三種配置:使用 Transformers v5、torchtitan 原生 Qwen3、以及 NKI Mixture‑of‑Experts kernels。

    推薦理由:提供完整步驟,示範如何在 AWS Trainium 上使用 torchtitan 執行 Qwen3 訓練,對於工程師具有實務參考價值。

10月21日週三
  1. NVIDIA Blog79

    NVIDIA Cloud Partners 擴充套件歐洲雲端基礎設施 — 主權、開放與安全 AI 代理

    NVIDIA Cloud Partners 在歐洲擴大雲端基礎設施,並推出安全代理架構與開放模型服務。 - Nscale 利用 NVIDIA DSX 平臺,測試中提升 37% GPU 效率與 50% 推理吞吐量。

    推薦理由:文章說明 NVIDIA 及合作夥伴如何在歐洲擴大 AI 雲端基礎設施,並提供安全邊界與開放模型,對於想在歐洲部署 AI 代理的開發者與企業具有實務參考價值。

  2. Wiz Blog & Research85

    Wiz Sensor 進入 GKE:一鍵啟用執行時保護,原生整合

    Wiz Sensor 以一鍵方式整合至 Google Kubernetes Engine,成為 GKE 原生的執行時安全附加元件。 - 部署方式:在 GKE 標準與 Autopilot 叢集上,透過 gcloud add-on 或 Cloud Console 只需一個 flag 即可啟用。

    推薦理由:將 Wiz Sensor 與 GKE 原生整合,使用者可一鍵啟用執行時安全,降低部署成本並提升防禦即時性。

  3. AWS Machine Learning Blog76

    微調 GPT‑OSS‑20B 於 Amazon SageMaker HyperPod 上的多語言推理

    本文示範如何在 Amazon SageMaker HyperPod 上使用 SFT 與 GRPO 微調 GPT‑OSS‑20B,使其在多語言推理任務中的推理語言正確率從 22% 提升至 100%,並在答案語言上提升至 70%。

    推薦理由:本篇示範如何在 SageMaker HyperPod 上使用 SFT 與 GRPO 微調 GPT-OSS-20B,並揭示兩種技術的適用場景,對想要提升多語言推理模型的實務團隊具有參考價值。