Modelplane 發布開放式推論工程指南,涵蓋模型服務部署與維運
An Open Field Guide to Inference Engineering
Modelplane 推出一份面向平臺工程師的開放式推論工程指南,從模型與 GPU 記憶體配置談到正式環境部署、效能調校和職涯發展。
- 部署與維運:說明推論引擎、控制平面與閘道的分工,並整理 GPU 配置、身分驗證、逾時、監控、自動擴縮及版本發布等實務。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
內容以平臺工程師熟悉的 Kubernetes、SRE 與容量規劃為起點,串連 GPU 記憶體、引擎調校及正式環境維運,呈現推論服務的實務脈絡。
譯文尚未完整,完整內容請切換至原文。
注意
數字、價格和工具版本截至 2026 年 10 月。
本指南適合剛接觸推論的平臺工程師。如果你想了解模型和 GPU 如何協同運作,以及如何在正式環境中執行推論,本指南會有所幫助。你也會認識可用的工具,以及如何發展成為推論工程師。
本指南以推論社群中其他人的成果為基礎。如果你對推論工程有興趣,可以透過以下資源繼續學習:
- Viktor Farcic 的 LLM 推論解析
- Philip Kiely 的 推論工程
- The Pragmatic Engineer:什麼是推論工程?
- ByteByteGo 的 AI 推論工程指南
- Data Gravity 談推論工程的崛起
- Spheron 的推論工程指南
- Vishakha Sadhwani 的 AI 推論工程學習路線圖
- Upbound,Project Champagne 系列
1. 為什麼是現在?
在以 AI 為核心的組織中,平臺團隊會轉型為推論團隊。程式輔助工具不能將原始碼傳送給第三方,而前沿模型的帳單每個月都在增加。支援工具也需要存取託管模型無法取得的內部資料。
組織希望自行執行這些模型,而開放模型如今已讓這件事切實可行。
Hugging Face 收錄超過兩百萬個開放模型,其中最出色的模型足以與閉源模型競爭。DeepSeek 在 2025 年 1 月發布 R1,大約在 o1 推出一個月後,R1 在數學和程式設計基準測試中的表現便與 OpenAI 的 o1 相當 。自行執行模型,就能掌控延遲、正常運作時間,以及資料的去向。流量大時,還能降低約 80% 的成本 。
這項工作很適合平臺工程師。固定 AI 能力水準的價格每年大約會下降 10 倍,而其中大部分來自模型的服務方式,而非更好的 GPU 。開發 Crossplane 和 Modelplane 的公司 Upbound 就親身體會過這一點。在其Project Champagne 系列部落格文章中,團隊透過Modelplane 執行自有模型,並發現 vLLM 和排程運作良好。真正耗時的是 TLS、身分識別、逾時、儲存、IAM 和可觀測性。
可延伸運用的技能
推論工程師負責挑選模型、將模型部署到合適的 GPU、維持服務運作、提升速度並降低成本,故障時也要接聽告警。這就是面對新型工作負載的 SRE,而你的大多數技能都能延伸運用:
| 你已熟悉的專案 | 在推論工程中的對應內容 |
|---|---|
| 排程與節點集區 | 透過裝置選取器、汙點和專用裝置安排 GPU |
| 容量規劃 | GPU 記憶體估算:權重、KV 快取和執行階段額外負載,並在執行時檢查 |
| 負載平衡 | 感知快取的路由,以及長時間保持連線的串流連線 |
| 依 CPU 使用量自動擴縮 | 依佇列深度和 KV 快取使用量擴縮,冷啟動時間以分鐘計 |
| 版本推出 | 專用 GPU 的版本推出,以及涵蓋模型、硬體和引擎建置版本的相容性矩陣 |
| SLO 與延遲百分位數 | 首個 Token 的生成時間、每個輸出 Token 的生成時間,以及有效吞吐量 |
| 可觀測性 | 引擎指標、實際 GPU 活動,以及推測解碼的接受率 |
| FinOps | 每百萬個 Token 的成本,以及每個使用者工作階段的成本 |
| 身分識別與存取管理 | 效期與代理工作階段一樣長的憑證 |
在產品生命週期初期,託管 API 仍然是正確的選擇。 當 API 支出成為一筆實際開銷、延遲或可靠性需求超出供應商所能提供的範圍,或資料不能離開你的網路時,自行託管才有回報。在 2026 年 8 月,Chris Zeoli 統計公開職涯網站上約有 58 個推論相關職缺,但職稱尚未定型。
2. 推論入門
本節會大致依照你接觸這些概念的順序介紹。大多數概念都與引擎在 GPU 記憶體中保留的內容,或限制引擎速度的因素有關。
Viktor Farcic建議思考每個概念從何時開始變得重要。有些概念在部署時就很重要,有些則要等到許多人開始使用模型後才會用到,還有一些你可能永遠都用不上。本節末尾附近的表格列出了各概念開始重要的訊號。
推論引擎是什麼
推論引擎,例如 vLLM或SGLang,是將模型權重轉換為 API 的伺服器。對平臺工程師而言,最貼切的理解方式是把它想成連線 GPU 的具狀態資料庫伺服器。它會在啟動時將大型資料集載入記憶體,並保留每個工作階段的狀態。它也會在內部排程工作,並透過 HTTP 回應。筆記型電腦上的 Ollama 是這個概念的小型版本,而每個託管模型 API 背後也都會執行這類引擎。
| 你在資料庫和服務中熟悉的概念 | 引擎中的對應概念 |
|---|---|
| 啟動時將資料集載入緩衝池 | 將模型權過載入 GPU 記憶體,可能需要好幾分鐘 |
| 工作階段儲存區中的每個工作階段狀態 | KV 快取,每個進行中的對話各有一份 |
| 查詢規劃器和連線集區 | 排程器,負責將要求分批送入每一輪 GPU 運算 |
| 使用者端已支援的通訊協定 | 相容於 OpenAI 或 Anthropic 的 HTTP API |
| 重新啟動後預熱快取 | 冷啟動:下載大型映像檔並重新載入權重 |
與資料庫不同的是,引擎會將工作集保留在 GPU 記憶體中,而非 RAM。GPU 記憶體容量小且價格昂貴,因此大多數調校工作的重點,都是決定每個要求可使用多少記憶體。
推論技術堆疊
引擎是四個層級中的一層。最底層是負責運算的核心。你很少需要直接選擇核心。核心之上是引擎。再往上是控制平面,負責部署和管理引擎,因為遲早會需要執行多個引擎。最上層是閘道,負責在不同模型和複本之間轉送流量。

推論技術堆疊:四個層級及其服務的使用者端
要求會經過閘道傳送至引擎,再由引擎在 GPU 上執行核心。控制平面會部署和管理閘道與引擎,但要求不會經過控制平面。
Token
Token 是語言模型處理的單位,大致相當於一個單字或單字片段。上下文視窗、價格和速度都以 Token 計算。有人報出每秒 Token 數時,指的就是這個單位。
權重和 KV 快取
權重是固定的,KV 快取則會隨負載增加。規劃容量時,兩者都要納入考量,就像計算資料庫的儲存空間和工作集一樣。
權重是固定的記憶體佔用量。大多數模型以每個引數 2 bytes 的格式(BF16 或 FP16)發布,因此 8B 模型需要約 16 GB,而且必須放在 GPU 記憶體中,而非系統 RAM。在 48 GB 的 L40S 上,約有三分之二的卡片容量可留給其他用途。無論使用者有一位還是一百位,這個數字都相同。
KV 快取就是工作集。每個新 token 都會根據它之前的所有 token 計算。引擎不必重新計算整段歷史,而是會保留處理中每個 token 的注意力鍵和值。它的大小會隨著上下文長度與並行對話數量增加,就像工作階段儲存空間會隨著工作階段大小和使用者人數增加。
你可以根據模型的設定檔估算每個 token 所需的 KV 快取:
KV bytes per token = 2 × layers × KV heads × head dimension × bytes per value以 FP16 執行 Llama 3 70B(80 層、8 個 KV 頭、頭部維度 128)時,每個 token 約需 320 KB。單一 128K-token 對話約需 40 GB 快取。快取達到這種大小時,通常會限制 GPU 可服務的使用者數量。
留意以下容量估算錯誤:
混合專家(MoE)模型會將所有權重保留在記憶體中。總引數量為 320B、啟用引數量為 18B 的模型,使用 FP8 時仍需要約 320 GB。只有運算量會隨啟用引數量變化。
請檢視檢查點大小,而不是資料型別表。Upbound 在自架模型以支援 Project Champagne 時,根據資料型別估算某個 MoE 模型約為 315 GB(第 2 部分)。實際檢查點大小為 177.7 GB,因為專家權重以 4-bit 格式儲存。
請為執行階段額外開銷預留空間。CUDA graph、啟用值和記憶體碎片都會佔用空間。模型在啟動時放得下,幾天後仍可能耗盡記憶體(Project Champagne,第 2 部分)。
兩個階段,兩種瓶頸
每個要求都會在同一張 GPU 上經過兩個階段,而兩個階段受不同因素限制。
| 階段 | 工作內容 | 限制因素 | 設定的指標 |
|---|---|---|---|
| Prefill | 平行讀取整份輸入,包括系統提示詞、工具定義和對話紀錄。產生第一個 token 和 KV 快取。 | 運算能力 | 首 token 延遲(TTFT) |
| Decode | 一次產生一個 token 來撰寫答案。每個 token 都需要執行一次讀取所有啟用權重以及 KV 快取的記憶體存取。在長上下文情況下,讀取快取的成本可能高於讀取權重。 | 記憶體頻寬 | 每個輸出 token 所需時間和每秒 token 數 |
依權重精度而定,產生一個 token 時,記憶體每讀取一個位元組,就會執行一至兩次浮點運算。H100 每位元組約需執行 295 次運算才能充分運用。這表示單一要求只會用到晶片的一小部分,其他運算單元則在等待記憶體(Data Gravity)。
峰值運算能力每兩年約提升 3 倍,記憶體頻寬同期僅提升約 1.6 倍。幾乎所有最佳化都會減少每個 token 搬移的位元組數,或讓每個位元組由更多 token 共用。
由於這兩個階段的瓶頸相反,加速其中一個階段的技術通常對另一個階段幫助不大。因此,基準測試會分別報告 TTFT 和每秒 token 數。
應追蹤的指標
| 指標 | 測量內容 | 注意事項 |
|---|---|---|
| 首 token 延遲(TTFT) | 排隊加上 prefill 的時間:使用者從送出要求到看到任何內容所等待的時間 | 使用推理模型時,引擎產生的第一個 token 可能是隱藏的思考內容。請測量使用者實際看到的第一個 token。 |
| 每個輸出 token 所需時間,或 token 間延遲 | 每個串流的 Decode 速度 | 推測解碼和記憶體頻寬會反映在這項指標上 |
| 每位使用者每秒 token 數 | 互動性,或模型輸出文字的速度 | 會隨著批次大小增加而下降 |
| 吞吐量 | 所有使用者合計每秒產生的 token 總數 | 會隨著批次大小增加而上升 |
| 有效吞吐量 | 仍符合延遲目標的吞吐量 | 容量規劃應採用的數值 |
| 端對端延遲 | 要求的總處理時間 | 取決於模型生成的內容長度。長篇生成耗時 190 秒屬於正常情況。 |
| 百分位數 | 各項延遲的 p50、p90、p99 | 使用者感受到的是延遲尾端,而非平均值 |
| 錯誤與拒絕回應 | 失敗或遭拒的請求 | 將拒絕回應計為錯誤,否則上下文長度上限可能看起來像是速度提升 |
| 每百萬 token 的成本 | GPU 成本除以服務的 token 數 | 以實際執行的負載進行比較 |
每百萬 token 的成本會將 GPU 價格和吞吐量換算成一個可供比較的數字:
Cost per million tokens = GPU cost per hour / (tokens per second × 3600) × 1,000,000Spheron 的 範例:一張每小時 2.90 美元、持續以每秒 1,200 個 token 執行的 GPU,每百萬 token 的成本約為 0.67 美元。
延遲與吞吐量
一次批次處理更多請求會提高總吞吐量,也會讓每位使用者的回應變慢。互動式聊天和程式設計應用較重視延遲;夜間批次工作則較重視吞吐量。
這和調校資料庫時,在交易處理與分析工作之間做取捨相同。開始調校前,先寫下工作負載的限制。
何時採用各項概念
每一列都列出提示你該採取行動的症狀,順序大致依照團隊通常需要它們的先後排列。
| 概念 | 作用 | 需要採用的訊號 |
|---|---|---|
| 模型權重配置 | 選擇模型、精度和 GPU,讓模型權重能留有餘裕地放入 GPU | 引擎無法啟動,或啟動後幾乎沒有剩餘空間可用於 KV 快取 |
| 連續批次處理與分頁式 KV 快取 | 讓多個請求共用每次 GPU 運算,並以小區塊分配快取 | vLLM 和 SGLang 預設已啟用。確認設定即可,不必自行建置。 |
| 量化 | 以較少位元儲存權重,並將釋出的記憶體用於 KV 快取 | GPU 仍有運算餘裕,但請求卻在排隊 |
| 字首快取 | 重複的提示開頭可重複利用已完成的運算 | vLLM 和 SGLang 預設已啟用。當使用者端是代理程式或聊天應用程式,會重複傳送冗長對話歷史時,請留意快取命中率 |
| 推測解碼 | 先草擬數個 token,再透過一次運算驗證 | 即使負載很低,個別回應的串流速度仍然太慢 |
| 閘道與控制平面 | 在多個副本之間路由請求,並以宣告式方式管理引擎 | 你新增第二個模型、第二個副本或第二個叢集 |
| 跨 GPU 分片 | 透過張量、管線或專家平行處理,將單一模型拆分 | 模型無法放進單張 GPU。請在部署前規劃。 |
| 自動擴縮 | 根據佇列深度和 KV 快取使用量增減副本 | 帳單上出現閒置 GPU,或尖峰時段開始形成佇列 |
| 分離式架構 | 在不同 GPU 上分別執行提示詞預填充與解碼 | 大規模執行時,冗長提示會使串流停滯,而且你具備 RDMA 等級的網路 |
多數團隊在第一天只需要前幾列。等到出現相應訊號時,再加入其他專案。
代理程式帶來的變化
程式設計代理程式和其他代理式工作負載會對這整套架構的每個部分造成壓力。Upbound 在 Project Champagne 系列的第 5 部分(該系列於第 1 節介紹)中測量了這點:大約 10 位工程師使用 Claude Code 和其他程式設計代理程式,向自行代管的模型發出請求。他們的流量呈現以下特徵:
提示很長。提示長度中位數為 59K 個 token,p90 為 125K 個 token。
提示大多重複。約三分之二的提示 token 命中字首快取,因為代理程式每回合都會重新傳送對話紀錄。
思考過程不可見。推理模型可能會先思考超過一分鐘,才輸出第一個可見 token。代理程式與模型之間的每個逾時設定都必須將這點納入考量。
負載取決於使用者端。使用短提示的工作階段會啟動子代理程式,並可能同時處理比長提示工作階段更多的請求。請依據同時處理中的請求數規劃容量,而非依據使用者席位數。
工作階段會持續數小時。 串流、工具呼叫和憑證都必須在這段時間內持續正常運作。
3. 在正式環境中執行推論
在正式環境中,每項選擇都要在延遲、輸送量、成本和品質之間取捨,而且 GPU 通常不夠用。若要了解哪些做法源自 Project Champagne,詳情請見第 5 節。
3.1 從使用情境著手,而非硬體
每種使用情境都有不同需求。在 Project Champagne 中:
程式碼代理需要長上下文且不降低品質、可靠的工具呼叫解析、串流、可持續數小時的工作階段,以及與 Claude Code 相容的 Anthropic API。
聊天需要較短的首個 Token 回應時間、真正的並行處理能力,以及與現有工具相容的 OpenAI API。
平臺需要在正式主機名稱上啟用 TLS,並使用與公司網域關聯的身分。平臺也需要可觀測性,能區分運作正常的引擎與忙碌的引擎,並能正確安排工作,不必人工看管。
將互動式工作負載與批次工作負載分開。兩者需要不同的目標,通常也需要不同的部署方式。在測試任何專案之前,先寫下通過與失敗的標準。
3.2 審慎選擇模型
使用自己的任務進行評估。公開基準測試衡量的是別人的工作負載。第 3.11 節會說明如何進行評估。
從小型模型開始,再逐步擴大。活躍引數只有數十億的小型 MoE 模型,能讓你更快累積操作經驗,也能降低選錯模型的成本。
最新的模型不一定最適合。模型推出速度比硬體規劃快。新推出的「小型」旗艦模型可能需要數張最大規格的加速卡,而你目前使用的模型可能只跑到其支援上下文長度的一半。最划算的提升方式可能根本不需要換新模型。
確認你的推論引擎確實能載入模型。即使模型在版本說明中列為支援,也可能無法在你的硬體和引擎版本上載入。
確認授權條款。多數開放模型採用寬鬆授權,但有些會限制商業用途。
確認聊天範本和解析器。工具呼叫和推理輸出取決於模型在引擎中所需的設定。設定錯誤會導致工具無法使用,但每個請求仍會回傳 200。
3.3 依執行時需求配置,而非依啟動時需求
模型在啟動時能載入,不代表實際流量下也不會耗盡記憶體;記憶體碎片可能讓用量超過測試所得的尖峰值。這種情況可能在幾天後、某個請求進行到一半時發生。
預留三種記憶體用量:模型權重、KV 快取,以及 CUDA graph 和啟用值等執行時額外用量。
瞭解引擎的記憶體設定涵蓋哪些用量,並在每次升級後重新確認。vLLM 會根據啟動時對其他所有用量的估算(包括 CUDA graph 記憶體池)來配置 KV 快取,而實際流量可能超出該估算。如果負載增加時出現記憶體不足錯誤,請稍微降低記憶體比例、啟用可擴充區段並限制並行序列數,然後重新測量可用記憶體。
為每個請求設限。為每次呼叫設定最大輸出長度。若未設限,任何請求都可能讓所有人的模型停止運作;即使使用者端已放棄請求,生成作業仍會繼續。
謹慎縮短上下文。降低最大上下文長度能釋出 KV 快取,供更多使用者使用。但這也會拒絕所有更長的對話,因此要將這些拒絕計為錯誤。
3.4 瞭解各種最佳化技術
大多數引擎預設會啟用連續批次處理和分頁式 KV 快取。其餘選項則依模型和工作負載而定。
| 技術 | 改善專案 | 成本或風險 | 適用情況 |
|---|---|---|---|
| 連續批次處理 | 吞吐量。Orca 在相同延遲下,據報比靜態基準高出 36.9 倍。 | 批次越大,每位使用者的速度越慢 | 一律使用。這是現代引擎的預設設定。 |
| 分頁式 KV 快取(PagedAttention ) | 並行處理能力。vLLM 將 KV 快取浪費量從 60% 至 80% 降至 4% 以下。 | 實務上幾乎沒有 | 一律使用。這是 vLLM 的預設設定。 |
| 字首快取 | 減少重複開頭內容的 TTFT 和預填充成本 | 只對第一個不同的詞元之前的內容有效 | 系統提示、RAG、多輪聊天和代理程式 |
| 權重量化 | 一律能加快解碼速度;只有連啟用值也量化時(例如 FP8),才能加快預填充。AWQ 和 GPTQ 等僅量化權重的格式只能加快解碼。精度降低一級通常可提升 30% 至 50% 的速度(Inference Engineering)。 | 品質下降,必須進行測量 | 使用硬體原生支援、且評估結果可接受的最低精度。Ada、Hopper 和 Blackwell GPU 原生支援 FP8。 |
| KV 快取量化 | 能容納更多快取,且傳輸速度更快 | 錯誤會逐個詞元累積 | KV 快取是瓶頸時 |
| 推測解碼 、多詞元預測 | 低批次大小時的每秒詞元數 | 猜測被拒絕時會浪費運算資源。負載升高、可用運算資源耗盡時,效益就會降低。 | 延遲很重要,且輸出具有可預測性時 |
| 張量平行化 | 可容納大型模型,並提升個別使用者的速度 | 需要 NVLink 等高速 GPU 對 GPU 連線 | 在單一節點內執行大型模型 |
| 專家平行化 | 提升 MoE 模型的吞吐量 | 專家之間的路由 | MoE 模型,包括跨節點部署 |
| 流水線平行化 | 透過一般網路將模型分佈到多個節點 | 每次執行都會增加延遲 | 模型無法放進單一節點時 |
| 預填充與解碼分離 | 消除不同階段之間的幹擾。DistServe 據報在延遲限制內可處理的請求量增加了 7.4 倍。 | 需要 RDMA 等級的網路來傳輸 KV 快取 | 大規模部署、長提示、高速互連網路 |
幾個實用原則:
依快取需求安排提示內容。字首快取會在第一個不同的詞元處停止。將系統提示和工具定義等共用內容放在前面,將變動的使用者輸入放在最後。截至 2026 年,託管 API 對快取輸入的定價是新輸入的 10% 至 50%,原因相同 )。
依敏感程度由低至高進行量化。線性權重最能承受量化,其次是啟用值,再來是 KV 快取。注意力層最敏感,因為微小誤差會在長序列中累積。讓最敏感的部分維持較高精度,直到評估結果證明可以再降低精度。FP8 等浮點格式比整數格式更能處理離群值。
留意推測解碼的接受率。接受率取決於溫度、主題和草稿模型。如果接受率大幅下降,每次執行仍須為猜測支付運算成本,模型速度也會變慢,但其他監控面板看起來可能仍正常。
同時套用多種技術時,留意彼此影響。量化 KV 快取有助於分離部署。批次增大會減少可供推測解碼使用的剩餘運算資源。一位 Baseten 工程師試了 77 種設定 ,才找到一種能讓客戶吞吐量加倍的設定(Inference Engineering)。一次只改一項,並測量結果(第 3.10 節)。
避免長提示詞讓其他串流停滯。分塊預填會將長提示詞拆成多個階段處理,讓其他使用者的解碼作業持續進行。目前 vLLM 預設會啟用這項功能;在考慮拆分部署之前,應先調整每個階段的 token 預算。
3.5 取得 GPU,並妥善配置
配額不保證有容量。配額只讓你能夠要求建立執行個體。即使使用相同 GPU,每種執行個體規格都有自己的容量池,而且沒有任何雲端 API 會告訴你實際上能啟動哪些執行個體。
依照能取得的 GPU 設計。預期你只有部分時間能取得原先規劃的 GPU。模型可能得拆分到不同區域的較小節點上,並透過一般網路使用管線平行處理。允許使用多區域資源池,並讓模型定義獨立於執行個體型別和節點數量。
明確指定模型對應的硬體。Kubernetes 動態資源配置(DRA)裝置選取器可以將模型固定在特定 GPU 架構或最低記憶體容量的 GPU 上。請根據 GPU 驅動程式發布的資訊確認配置位置,而非依據只會回報你所宣告內容的狀態列位。
留意雲端狀態,而不只看控制器。受管理的節點群組可能回報失敗,但雲端仍持續嘗試啟動執行個體;數小時後才到位的 GPU,也可能因資源池後續變更而遭到關閉。請追蹤執行個體和節點加入狀況,並在變更資源池前列出其中的執行個體。
瞭解互連方式。H100、H200 和 B200 等資料中心 SXM GPU 會透過 NVLink 連線。L40S 和 RTX PRO 6000 等 PCIe 顯示卡則沒有 NVLink,因此多 GPU 通訊會經由 PCIe 和主機記憶體進行。這會影響哪些平行處理策略能帶來效益。
也要為系統資源池配置足夠容量。GPU 節點會設為禁止推論工作負載排程。監控工具、控制器和閘道會競爭剩餘的一般運算容量。
3.6 閘道、路由和逾時
不要採用輪詢負載平衡。某個複本可能已將對話字首存入快取,另一個複本卻從未處理過該內容。請使用快取感知或字首感知路由,例如 Gateway API Inference Extension 中的端點選取器。
依模型名稱路由。單一主機名稱可以服務多個模型,並根據請求中的模型欄位進行路由。
支援兩種常見 API。大多數工具都使用 OpenAI API。Claude Code 使用 Anthropic Messages API,vLLM 原生支援此 API,包括串流和工具呼叫。
提高路徑上每一處的逾時設定。長時間生成和推理模型會受到預設值限制,因為每個連線環節的預設逾時都是為網頁請求設定,而非為需要數分鐘的生成作業設定。常見問題包括限制整個回應時間的閘道路由逾時、負載平衡器閒置逾時,以及會延長等待時間的重試機制。請檢查路由、每個負載平衡器、閘道、使用者端,以及使用者端呼叫的任何輔助服務。
偵測串流截斷。串流可能在傳回 HTTP 200 和有效 token 後中斷。對使用者端而言,這看起來就像回答已完成。
按呼叫者計量用量。在閘道設定以 token 計算的速率限制和配額,可避免單一重度使用者或失控的代理程式耗盡其他人可用的資源。
3.7 安全性與身分識別
絕不要暴露未受保護的端點。請先套用驗證政策,再為閘道設定位址;拆除時則最後移除驗證政策。
在實際使用的主機名稱上啟用真正的 TLS,並規劃憑證的簽發與續約。
為三類使用者端做好規劃。人員是最簡單的情況。瀏覽器無法在頁面載入或預檢請求中附加持有者權杖,因此要透過閘道的 OIDC 登入處理瀏覽器驗證。代理程式會執行數小時,並在啟動時讀取一次憑證,因此 60 分鐘效期的身分權杖會讓它們在工作階段中途失效。請提供長效 API 金鑰或可自動更新的憑證。
不要疊加兩個會逾期的工作階段。如果外層閘道登入前面還有一個採用自身登入機制的應用程式,外層工作階段一旦逾期就會造成服務中斷。
測試應遭拒絕的請求。建立探測矩陣,列出閘道必須拒絕的請求,例如缺少、格式錯誤、未簽署、已逾期或已撤銷的金鑰,以及偽造的呼叫者標頭。也要納入必須保持可連線的路徑,例如健康檢查。定期執行探測,並在變更期間持續執行。
將身分帶入使用紀錄,以便檢視是誰傳送了哪些內容。覆寫使用者端嘗試偽造的任何呼叫者標頭。
將模型權重視同程式碼。優先使用 safetensors,而非以 pickle 為基礎的檢查點;不要啟用尚未檢視過的模型儲存庫中的遠端程式碼,並將每個模型固定在特定版本。
3.8 可觀測性
抓取推論引擎的指標。推論引擎會提供詳細的 Prometheus 指標。除非設定 ServiceMonitor 和具名連線埠等抓取機制,否則不會有任何東西收集這些指標。
建立核心儀錶板:執行中的請求數與並行上限、等待中的請求數、KV 快取使用量、TTFT、每個輸出權杖所需時間、每個請求的輸出權杖數、字首快取命中率、推測解碼接受率、依狀態碼分類的錯誤,以及取消的請求。
在伺服器上衡量品質。工具呼叫錯誤、回答遭截斷及空白回應,通常會先以使用者客訴的形式傳到你這裡,而服務儀錶板看起來卻一切正常。應改在伺服器上統計這些情況,包括無法解析的工具呼叫、因長度限制而遭截斷的回應、空白輸出、拒答,以及每個請求中的隱藏推理權杖。閘道能看到每個回應,因此可以統計推論引擎未匯出的任何資料。
別只看
GPU-Util。它只能顯示是否有任何工作正在執行,無法反映晶片的實際運用程度。即使 GPU 回報GPU-Util接近 100%,SM 活動率仍可能只有一半左右,張量核心也可能大多閒置。也要繪製 SM 活動率和張量活動率圖表。區分不同的效能瓶頸。請求排隊時,執行中的請求數會達到上限、等待中的請求數大於零,而且 KV 快取已滿。模型思考時,TTFT 看起來正常,但每個請求都會產生許多隱藏權杖。生成速度變慢時,每個輸出權杖所需時間會增加。
監控監控系統。監控堆疊之外必須有機制檢查資料是否為最新,以及每個叢集是否都送來新的指標。即使指標轉接器回報 API 可用,實際回傳的結果仍可能是空的。
保留足以用來除錯的記錄。保留的推論引擎記錄中,指標抓取內容可能佔了近乎全部。請保留包含呼叫者資訊的逐請求存取記錄,並將它們傳送到記錄儲存區;當機後也別忘了
kubectl logs --previous。統一不同推論引擎的指標名稱,讓 vLLM 部署和 SGLang 部署都能依據相同的訊號評估。
根據使用者實際感受到的體驗設定 SLO,並在入口處逐請求測量:
回應迅速:使用者實際看到第一個權杖所需的時間低於門檻。
速度足夠快:每個輸出 token 所需時間低於門檻。
已成功回應:請求順利完成且沒有發生錯誤,其中的任何工具呼叫也都已解析。
不要為總請求時間設定 SLO,因為它取決於模型輸出的長度。低流量模型需要全機群 SLO、較長的觀察期間或合成流量。缺少資料時會視為 100% 正常,因此也要針對指標停止送達的情況設定獨立警示。像 Sloth 和 Pyrra 這類開放原始碼工具,能將 SLO 定義轉換成錯誤預算消耗速率警示。背景資訊請參閱 Observability Engineering。
3.9 自動擴縮與冷啟動
根據推論指標進行擴縮,例如佇列深度、KV 快取使用量和處理中的請求數。CPU 使用率在這裡幾乎沒有參考價值。
結合流量與負載。流量指標能讓你在需求到來前擴充資源,負載指標則會較晚反映變化。設定方式和你在任何自動擴縮器上調整的專案相同。設定最小與最大複本數,以及指標觀察期間的長度。接著設定縮容延遲時間,以及每個複本應處理的並行請求數。Kiely 的書深入介紹了推論服務的每項設定。
為緩慢的冷啟動做好規劃。新的 GPU 節點必須啟動、下載大型引擎映像檔並載入權重。大型模型光是載入權重就可能花上半小時。在每個叢集中使用共用儲存空間快取權重,讓新的複本不必重新下載。
謹慎使用縮至零副本。節點就緒時,流量尖峰可能已經過去,而且稀缺的 GPU 資源可能無法再次取得。
規劃大規模部署的多叢集架構。GPU 數量超過數百張後,容量限制會迫使工作負載跨區域和服務供應商分配。能將不同資源池視為一體管理的控制平面,可避免一個資源池的容量閒置,而另一個資源池卻資源不足。
3.10 變更管理
追蹤三方版本矩陣:模型、硬體和引擎版本。新模型通常需要在推出當天使用 nightly 或專為該模型建置的引擎版本。
為 GPU 獨佔使用情況規劃部署更新。GPU 的使用權是獨佔的,因此只有一個複本的部署若採用滾動更新,就會陷入僵局:新的 Pod 無法排程,舊的 Pod 也無法離開。請使用 Recreate 策略或允許一個複本暫時無法使用,並預留停機時間。
狀態就緒不代表已可路由流量。閘道可能比就緒的複本慢一兩分鐘才完成更新。
像測試程式碼一樣測試服務變更。將每項變更都提交為拉取請求,並一次只改一個專案。先寫下通過標準,再逐步提高負載,直到某個階段未達標準,並以單一數字和信賴區間呈現容量。
先測試測試裝置。測試裝置中的錯誤可能浪費稀缺的 GPU 使用時段,而只要先在筆電上花幾分鐘就能發現。
使用自己的硬體和符合自身情況的流量進行測試。代理程式提示詞很長,而且大多會使用快取。以短而且全新的提示詞進行基準測試,測量的是不同的系統。
將每項服務變更逐級推進。每一級的成本都高於前一級,也能找出不同型別的故障,因此大多數問題都會在使用者發現前浮現:
離線。驗證設定,並執行測試裝置本身的檢查。這只需在筆電上花幾分鐘,不需要 GPU。
演練。使用假閘道或小型模型,從頭到尾執行完整測試,避免測試裝置的錯誤耗掉 GPU 使用時段。
冒煙測試。在目標硬體上送出幾個實際請求。包括一段長提示、一個工具呼叫和一個串流回覆,再加上一個應該拒絕的請求。
搭配評估進行負載測試。在同時執行評估套件的情況下,逐步提高並行請求數,直到達到你的門檻,並在相同流量下與目前版本比較。評估可能逐一測試請求時都通過,但工具呼叫在並行負載下卻失敗,而服務儀錶板上的指標完全沒有變化。
金絲雀部署。將少量實際流量導向新版本,並比較新舊版本的伺服器端指標:TTFT、每個輸出 Token 所需時間、錯誤、工具呼叫解析失敗,以及因長度限制而停止的情況。依模型名稱進行路由的閘道可以按權重分配流量。開始前先寫下回滾條件。
全面推出。在新版本的指標於流量高峰期間持續符合門檻前,保留舊版本以便接回流量。
3.11 品質與評估
開放模型的評分偏低時,先檢查以下三處,再判斷是模型本身的問題:
測試框架。是否只有模型變了?先測試目前使用的託管模型。如果它的評分低於較弱的模型,代表測試框架有問題。
基礎架構。模型是否有機會作答?逾時、憑證過期和路由錯誤都會顯示為模型失敗。將這些執行結果標記為「未測量」。
評分器。檢查是否衡量了你在意的結果。評估最終狀態,而非代理對結果的描述,並用人們已接受或拒絕的答案測試評分器。
此外,固定正確答案所依據的資料,並提供給每個模型相同的上下文。測試標記應放在模型無法讀取的位置。每項測試都執行多次,並優先使用確定性檢查,而非以模型作為評判者。即使溫度設為 0,批次處理伺服器對相同請求仍可能回傳不同 Token,因此除非引擎以較慢的批次不變模式執行,否則請預期結果會有些差異。
3.12 事件與除錯
預期會有無聲故障。代價高昂的問題往往不會觸發錯誤:遭截斷的串流仍回傳 200,指標 API 回報服務可用,節點群組回報就緒。讓這些故障明確可見,也是平臺的職責之一。
檢視所需時間。故障發生在整數秒時,通常是逾時。若發生時間是整數秒的倍數,例如四次各 60 秒的嘗試後,在 239 秒時失敗,則可能是重試所致。
繞過一層。從流程中移除一個環節,看看問題是否隨之移動。
核實狀態是否符合實際情況。狀態只是某個元件對自身工作的判斷。請檢查磁碟、執行個體或路由本身。
採取增量式修改,並將修正回饋上游。將變通方案放在平臺旁邊,並標註以便拆除,不要修改由控制器管理的物件。
迎接第一批使用者前的檢查清單
已定義使用情境,並寫下首個 Token 所需時間、每位使用者的速度和錯誤率門檻
根據自己的評估選定模型,並以目前使用的託管模型作為基準
已確認引擎版本能在你的硬體上載入模型
記憶體預算涵蓋權重、KV 快取和執行階段額外開銷,並已設定最大輸出 Token 數和最大並行序列數
已根據驅動程式確認 GPU 配置,並備妥替代的執行個體規格或可用區
已在閘道取得位址前套用驗證政策,並在正式主機名稱上啟用 TLS
有效期限足以涵蓋代理工作階段的憑證
每一跳都設定逾時:路由、負載平衡器、閘道重試、使用者端和輔助程式呼叫
擷取引擎指標、繪製 GPU SM 和張量運算活動圖表,並在指標停止送達時發出警示
在伺服器端統計工具呼叫解析失敗、長度限制中止和空白回應的次數,別等到使用者先發現才收到警示
建立探測矩陣,列出必須拒絕的請求和必須保持開放的路徑
為獨佔使用的 GPU 制定部署策略,並將停機時間納入預算
當機後仍保留先前的容器記錄
分階段推進服務變更,在並行負載下執行評估,並設定金絲雀部署及書面回復觸發條件
將因應措施保留在平臺旁,標註拆除時機,並將修正提交上游
4. 技術堆疊
深入瞭解引擎。你已熟悉 Kubernetes、閘道和可觀測性,因此要學習推論帶來哪些變化。至於核心程式,只要能看懂分析結果即可。大多數推論工程都發生在技術堆疊較上層的部分。
各層工具
| 層級 | 必備工具 | 優先掌握 |
|---|---|---|
| 在 Kubernetes 上使用 GPU | NVIDIA GPU Operator 、Dynamic Resource Allocation 及其 NVIDIA driver 、DCGM exporter | 瞭解 GPU 如何對外公告、提出請求及分配 |
| 核心程式和程式庫 | CUDA 、PyTorch 、Triton 、FlashAttention 、torch.compile | 核心程式基礎、核心融合,以及如何閱讀分析結果 |
| 推論引擎 | vLLM 、SGLang 、TensorRT-LLM ;本機作業可使用 Ollama 和 llama.cpp | vLLM 的核心旗標:--gpu-memory-utilization、--max-num-seqs、--max-model-len、張量平行大小、量化、字首快取、分塊預填充 |
| 分散式服務 | NVIDIA Dynamo 、llm-d 、KServe 、LeaderWorkerSet | 多 GPU 和多節點配置,以及預填充與解碼分離 |
| 閘道和路由 | Envoy Gateway 、Agent Router (前身為 Envoy AI Gateway)、Gateway API Inference Extension | 串流、逾時、驗證政策,以及依模型名稱和快取狀態進行路由 |
| 控制平面 | Modelplane ,以 Crossplane 為基礎 | 在各環境中宣告叢集、硬體類別、部署和快取 |
| 可觀測性 | Prometheus 、Grafana 、OpenTelemetry 、Loki 、Sloth 或 Pyrra | 引擎指標、實際 GPU 活動,以及面向使用者的延遲 SLO |
| 效能測試 | vLLM 的效能測試工具 、NVIDIA AIPerf 、GuideLLM 、SemiAnalysis AgentX 追蹤資料 | 使用貼近實際情況的提示詞掃描並行程度,並測量延遲百分位數 |
| 評估 | 英國 AI 安全研究所推出的 Inspect ;Hugging Face upskill,用於測試模型各項技能 | 針對任務最終狀態使用確定性評分器 |
| 模型 | Hugging Face Hub 、safetensors 檢查點 | 讀取模型設定,確認層數、注意力頭數和上下文長度,並檢查實際檔案大小 |
選擇引擎
引擎會控制批次處理、記憶體管理、核心程式選擇和 API 相容性。相較於升級硬體,引擎對成本和吞吐量的影響通常更大。
| 引擎 | 團隊選用的原因 | 維運成本 |
|---|---|---|
| vLLM | 支援的模型種類最廣,並內建 OpenAI 和 Anthropic API,因此通常是第一個部署的選擇。由 PyTorch Foundation 維護。 | 頻繁發行新版並加入新旗標。每次升級都要固定版本並重新進行效能測試。 |
| SGLang | 字首快取採用基數樹,排程器會優先處理與快取字首相同的請求,適合代理程式和多輪長對話工作階段。Upbound 在這方面測得最大單項效能提升(Project Champagne,第 5 部,2026 年)。 | 社群規模較小,而且新模型可能需要等到 nightly build 才能在標記版本中正常運作。 |
| TensorRT-LLM | 針對 NVIDIA 硬體調校的核心,包括 Blackwell 上的 FP4 | 僅支援 NVIDIA 硬體,會讓你的服務堆疊繫結單一供應商。 |
| NVIDIA Dynamo | 建構在引擎之上的協調層,可協調多個節點,包括分離式 prefill 和 decode | 還需要管理另一套分散式系統,因此只適合多節點規模。 |
| Ollama 、llama.cpp | 適合學習和原型開發的本機服務 | 並非為大量並行使用者而設計 |
Hugging Face 的 TGI 曾是常見選擇,目前已進入維護模式,因此在決定採用之前,請先確認 發布頻率、維護者和基金會支援情況。 引擎每隔幾週就會新增旗標。升級時請重新執行基準測試, 不要只依賴上季的資料。
Upbound 在 Project Champagne,第 5 部 中的比較呈現了這點。團隊在兩個 8-GPU 節點上,為約 10 位工程師提供程式碼模型服務,並測試如何擴充套件至 15 人團隊。在相同硬體和 相同代理程式流量下,從 vLLM 切換至 SGLang 是測得的最大單項效能提升。在 SGLang 上再加上主機記憶體快取,並未帶來可測得的提升, 因為 KV 快取從未填滿。
Modelplane 的定位
Modelplane 是 Upbound 推出的開放原始碼 專案,以 Crossplane 為基礎,採用 Apache 2.0 授權。它透過 Kubernetes 風格的 宣告式 API,跨雲端、neocloud 和自有 GPU 協調模型、推論引擎與 AI 基礎架構。它能佈建推論叢集,也能使用你自備的叢集。 檔案請見 docs.modelplane.ai 。
Modelplane 將工作分為三個責任層級。即使使用不同工具,你也可以用相同的 分層方式來理解。
| 負責者 | 負責內容 | Modelplane 資源 |
|---|---|---|
| 平臺團隊 | 整個資源池:叢集、硬體類別和閘道 | InferenceCluster、InferenceClass、InferenceGateway |
| 模型運運算元或推論工程師 | 模型:部署、服務和權重快取 | ModelDeployment、ModelService、ModelCache |
| Modelplane | 介於兩者之間的一切,由上述兩層組合而成 | ModelEndpoint、ModelReplica |
這個階層結構相當於將核心 Kubernetes 的範圍擴大一層。ModelDeployment → ModelReplica → ModelService → ModelEndpoint,對應 Deployment → Pod → Service → Endpoint,但涵蓋的是整個資源池,而非單一叢集。你提供引擎 容器及其旗標,Modelplane 則據此安排拓撲。人員和 代理程式都不會建立這些資源,而是依模型名稱呼叫 InferenceGateway。
Modelplane 會將 vLLM 和 SGLang 的指標對應到通用名稱,並提供開箱即用的支援;你也可以透過 MetricMapping 加入其他引擎,讓不同引擎以相同的 指標進行評估。
對平臺工程師來說,第二層是需要學習新知的部分。Upbound 開始自行託管時也有相同發現,詳見 Project Champagne,第 1 部 : 叢集和閘道的工作都很熟悉,模型運運算元層則有許多未知之處。
建議的技術堆疊學習順序
在單一 GPU 上執行 vLLM,透過其 OpenAI 相容 API 使用,並檢視它的指標 端點。
使用 NVIDIA GPU Operator 將它部署在 Kubernetes 上,並透過 裝置選取器安排位置。
在前面加上閘道,設定 TLS、驗證機制和適合長串流的逾時時間。
將引擎和 GPU 指標擷取至 Prometheus,並依照第 3.8 節建立核心儀錶板。
以逐步增加並行數的方式進行基準測試,同時執行一套小型評估測試。
在 SGLang 上提供相同模型服務,並以你自己的流量進行比較。
使用張量平行和管線平行,將較大的模型分散到多張 GPU 上,再試試分散式服務層。
學習足夠的 CUDA 和效能分析知識,以瞭解核心或設定為何會造成差異。
你需要了解的推論服務知識,有許多來自曾記錄故障經過的團隊。學習批判性地閱讀這些紀錄,並撰寫自己的紀錄(第 6 節)。
如何閱讀案例研究
找出設定。模型、硬體、引擎版本和流量樣態。留意日期,因為資料很快就會過時。
找出標準。怎樣才算足夠好?由誰決定?
追查故障。出了什麼問題、團隊如何發現,以及花了多久才偵測到。
檢視方法。他們是否一次只改一項,並以自己的流量進行測量?
區分哪些經驗可沿用。逾時設定的經驗適用於各種情況,但特定旗標值只適用於該硬體上的該引擎版本。
案例研究:Project Champagne(2026)
Crossplane 和 Modelplane 背後的公司 Upbound,使用 Modelplane 在 AWS 和 Nebius 的 GPU 上,以開放模型自行架設聊天服務、程式設計代理和修補 CVE 的建置代理。團隊以五篇系列文章記錄了故障經過。以下是截至 2026 年的重點資料:
- 服務本身問題較少。vLLM 和排程運作正常。TLS、身分識別、逾時、儲存和可觀測性才耗費了時間。(第 2 篇)
- 核准配額不代表有可用容量。核准的 H100 執行個體配額達 768 個 vCPU,卻始終一臺也沒到位;原訂的 GPU 約有一半時間能如期取得。最後有一個模型必須分散到兩個可用區域的兩個節點上。(第 2 篇)
- 啟動時能裝進記憶體還不夠。一個聊天模型原本可順利載入,卻在四天內發生九次記憶體不足。將記憶體比例從 0.92 降至 0.88、啟用可擴充區段,並將並行序列數上限設為 16,釋出 4.6 GiB 記憶體。(第 2 篇)
- 代價最高的故障往往悄無聲息。串流遭截斷時仍回傳 200,指標 API 顯示服務可用卻沒有資料,監控則有六天一直停在待處理狀態。(第 2 篇)
- 逾時會層層疊加。路由預設 15 秒逾時,加上負載平衡器 60 秒閒置逾時,會截斷仍在串流中的回答。(第 2 和第 3 篇)
- 代理是最難應付的使用者端。長達一小時的工作階段超過了權杖 60 分鐘的有效期限;推理模型則可能思考超過一分鐘,才輸出第一個可見權杖。(第 2 和第 3 篇)
- 低分往往不是模型的錯。測試工具中的假 shell 讓 Claude 得到 0 分。60 秒閒置逾時也讓測試失敗;調高限制後,模型每次都能完成執行。(第 3 篇)
- 速度慢有多種原因。工程師的一句「哇,怎麼這麼慢」最後追查到隱藏的最高強度推理,當時所有儀錶板都顯示正常。有一張 GPU 顯示 99%
GPU-Util,但張量核心只有約 10% 的時間處於忙碌狀態。(第 4 篇) - 負載取決於使用者端。代理提示的中位數為 59K 個權杖,約三分之二命中字首快取;短提示的工作階段會透過啟動子代理,讓更多請求同時處於處理中。(第 5 篇)
- 引擎的影響比預期更大。在同樣的兩臺 8-GPU 節點上,從 vLLM 改用 SGLang,是帶來最大單次效能提升的改動。128K 的上下文長度上限看起來比較快,只是因為它拒絕了較長的對話。(第 5 篇)
閱讀完整系列
Upbound 部落格的每篇文章都詳細記錄了這些經驗,並附上背後的設定、查詢和資料:
第 1 篇:如何掌握自己的智慧。 為什麼 Upbound 選擇自行託管推論,以及使用情境如何決定模型和硬體。
第 2 篇:找出瓶頸。 逐步檢視推論生命週期,從挑選與部署到變更與失敗。
第 3 篇:建置安全代理。 如何判斷開放模型能否像託管模型一樣勝任實際工作。
第 4 篇:檢視細節。 團隊在各個步驟看到了什麼、漏掉了什麼,以及計畫如何發出警示。
第 5 篇:從試行到團隊部署。 一套可重複的方法,用來測試服務變更,並為逐漸擴大的團隊估算容量。
6. 職涯轉換
不需要從頭開始。將推論概念融入你已有的平臺技能,並公開展示成果。這個領域還很新,後進者也能快速跟上。
選擇方向
選擇最貼近你現有工作的方向。多數平臺工程師會從前兩個方向起步,再逐漸拓展到第三個方向。
| 方向 | 重點 | 適合這樣的你 |
|---|---|---|
| 推論平臺 | 叢集、GPU 排程、閘道、自動擴縮、多雲端容量 | 喜歡 Kubernetes 和分散式系統 |
| 推論可靠性 | SLO、可觀測性、容量規劃、部署、事件應變 | 曾經輪值待命並實踐 SRE 方法 |
| 執行環境效能 | 引擎調校、量化、推測解碼、平行處理、核心 | 喜歡效能分析並深入研究硬體 |
循序學習
Vishakha Sadhwani 的 AI Inference Engineering Roadmap 2026 是一份完整的 13 階段領域指南。如果你來自平臺工程,很快就能學完,因為你已經掌握了其中大部分的基礎設施知識。更精簡的學習路徑如下:
學習模型,而不只是容器。掌握 Transformer 基礎、注意力機制與 KV 快取、密集模型與 MoE 模型的差異,以及如何讀取模型設定檔。目標是在五分鐘內估算任何模型所需的記憶體。
深入學習一種引擎。選擇 vLLM,瞭解每個核心旗標的取捨,並親自測量首個 Token 的生成時間和每個 Token 的延遲。
將平臺技能應用到 GPU。裝置配置、能維持長串流的閘道、根據推論訊號進行自動擴縮,以及引擎的可觀測性。
學會評估品質與成本。建立評估流程、進行容量測試,並計算每百萬個 Token 的成本。平臺工程師最常在這方面欠缺經驗,而這也是這個職務最能發揮價值之處。
打造能證明實力的專案
以下每個專案都能用一兩臺租用的 GPU 完成,並產出附有實際資料的程式碼儲存庫。每次執行之間都關閉執行個體,批次實驗則使用隨用即付的閒置容量。
| 專案 | 可證明的能力 | 可公開的成果 |
|---|---|---|
| 在單張 GPU 上使用 vLLM 服務 8B 模型。測試 1、10 和 50 位並行使用者。 | 你能準確測量 TTFT、每個輸出 Token 的生成時間和吞吐量 | 設定、負載測試指令碼、圖表,以及每百萬個 Token 的成本 |
| 預測 GPU 能容納多少個 32K Token 的工作階段,再實際測試 | 你瞭解權重、KV 快取和執行階段額外開銷 | 你的預測、測試結果,以及兩者差異的原因 |
| 比較 FP16、FP8,以及可行的話也比較 4 位元格式 | 用證據呈現品質與速度之間的取捨 | 並列評測分數、延遲與吞吐量 |
| 先讓相同提示詞共用內容,再將共用內容放在最後執行 | 你瞭解字首快取與提示詞結構 | 分別列出快取命中率與 TTFT |
| 使用 GPU Operator 在 Kubernetes 上部署,搭配啟用 TLS 和驗證的閘道、依佇列深度自動調整規模,以及儀錶板 | 你能將推論服務作為平臺來執行 | 資訊清單或組合設定,以及儀錶板定義 |
| 在類似代理程式的流量下比較 vLLM 與 SGLang,每次只改一項 | 你能以資料做出引擎選擇 | 評量標準、方法,以及附上區間的結果 |
| 為一項代理程式任務建立評測工具組,並使用確定性評分器 | 你能分辨模型故障與評測工具組故障 | 任務、評分器與負向對照 |
| 重現故障:逾時、記憶體不足而崩潰,或部署卡住 | 你能實際維運,而不只是部署 | 簡短的事後檢討報告與維運手冊 |
公開展示你的成果
許多推論職缺會先透過人脈招募,之後才刊登在徵才網站上。2026 年 8 月,Zeoli 找到一家估值 175 億美元的推論服務公司,但該公司並未刊登任何專職推論效能職缺。公開成果能讓人脈網路以外的人也有機會被看見。
像寫實驗報告一樣撰寫 README。說明問題、設定(模型、GPU、引擎版本與旗標)、方法、資料結果、意外發現,以及重現步驟。
公開失敗經驗。清楚說明故障經過,比展示完美無瑕的示範更能展現能力。
固定版本並列出成本。未標示引擎版本與價格的結果難以取信,也更難重複運用。
撰寫文章並分享演講。將每個專案整理成短文,並向聚會、CNCF 活動和社群直播投稿演講。
參與開放原始碼專案
推論專案仍有許多待完成的工作屬於平臺工程。Upbound 根據 Project Champagne 整理的上游待辦清單,就像平臺工程的待辦事項:可設定的負載平衡器、憑證簽發、獨佔裝置的 Recreate 部署、如實反映狀態的 Ready 訊號、開箱即用的引擎指標擷取,以及適用於長時間執行代理程式的驗證機制。
值得關注的專案包括 vLLM、SGLang、llm-d、KServe、NVIDIA Dynamo、Agent Router(前身為 Envoy AI Gateway)、Gateway API Inference Extension、Modelplane 和 Crossplane。適合入門的貢獻包括:
實際執行並回報問題,附上重現步驟與資料。這是 Champagne 最主要的貢獻方式。
撰寫運運算元檔案:根據自己的實際操作經驗,編寫部署、調校與疑難排解指南。
新增指標、儀錶板與警示,讓隱性故障能立即被察覺。
改善資訊清單、Helm chart 與組合設定,使其適用於實際環境。
貢獻基準測試配方與測試,以支援你手邊的硬體。
閱讀各專案的貢獻指南,從小幅修改開始,並在承接大型工作前先在議題中留言。
持續學習
引擎每隔幾週就會新增旗標,而研究成果通常幾個月內就會進入正式環境。
閱讀發行說明:每次引擎發行都要閱讀,升級時也要重新執行基準測試。
閱讀核心論文: Orca (連續批次處理)、PagedAttention 、 DistServe (解耦式架構)、最初的 推測解碼 論文,以及 FlashAttention 。
閱讀 Philip Kiely 的推論工程。這本電子書可從 Baseten 免費取得。
追蹤實務工作者。The Pragmatic Engineer 、 ByteByteGo 和 Data Gravity 等電子報都深入報導這個領域。加入你所使用的推論引擎社群頻道。
學習評估。開放權重模型能否取代託管模型,取決於評估,而能設計出良好評估的工程師並不多。可以先讀 Anthropic 的 揭開 AI 代理評估的神秘面紗 ,以及 Hamel Husain 和 Shreya Shankar 的 評估 常見問題 。
瞭解經濟效益。你應該能向財務夥伴說明每百萬個 token 的成本,以及每位使用者工作階段的成本。
尋找相關職缺
目前還沒有一致的職稱。同樣的工作可能稱為推論工程師、效能工程師、模型服務工程師或機器學習基礎架構工程師,有時也叫 AI 平臺工程師,因此這些職稱都可以搜尋。薪資反映了這些技能的稀缺程度:2026 年 8 月,Zeoli 發現 Anthropic 一個推論效能職缺的刊登薪資為 $350,000 至 $850,000,而 OpenAI 類似職缺的薪資為 $295,000 至 $555,000。
不過,你或許不必換工作就能開始。如果公司正計畫自行託管第一個模型,可以主動爭取參與。這類專案很可能最後會交由你的團隊負責,而親自執行就是最直接的實務經驗。
準備面試
練習回答以下問題。每題都標示了本指南中相關的段落。當中有幾題改編自 Lamhot Siagian 關於高效率推論的面試筆記(第 7 節)。
預填充與解碼。為什麼解碼通常受限於記憶體頻寬,而非運算能力?長上下文時又有何變化?(第 2 節)
硬體趨勢。如果運算能力持續比記憶體頻寬更快成長,推論很快就會受限於運算能力嗎?(第 2 節)
記憶體計算。在特定上下文長度與並行數下,模型和它的 KV 快取需要多少記憶體?(第 2 節)
有效吞吐量。什麼是有效吞吐量?為什麼應該以此規劃容量?(第 2 節)
字首快取。哪些應用最能受益於字首快取? (第 2 節)
精度。你需要在兩張 80 GB GPU 上服務一個 70B 模型。你會選擇哪種精度?為什麼?(第 2 和 3.4 節)
量化。僅量化權重何時能加快速度?何時無法加快?(第 3.4 節)
推測解碼。什麼情況下不該使用推測解碼? (第 3.4 節)
分塊預填充。長提示詞如何拖慢其他使用者的串流?分塊預填充又會帶來什麼變化?(第 3.4 節)
Parallelism. Which parallelism strategy would you pick for a given model and GPU type, and when does tensor parallelism beat pipeline parallelism? (Sections 3.4 and 3.5)
Profiling. How would you tell whether a workload is limited by compute or by memory bandwidth? (Section 3.8)
Debugging “slow.” p99 time to first token just spiked. How do you tell queueing, hidden reasoning and slow generation apart? (Section 3.8)
Cost. What does a million tokens cost on your GPUs, and how does that compare with a hosted API? (Section 2)
Capacity planning. Your user count will grow 10x in six months. How do you plan capacity? (Section 3.10)
Rollouts and SLOs. How would you roll out a new model version safely, and what SLO would you set for the service? (Sections 3.8 and 3.10)
Failure stories. Describe one failure with real numbers. Cover what broke and how you found it, then what you changed.
7. Sources and further reading
Upbound and Modelplane
Upbound, Drinking Our Own Champagne series on the Upbound blog: Part 1: What it takes to own your intelligence ; Part 2: Finding the corks ; Part 3: Use case #1, the build security agent ; Part 4: Candling the bottles ; Part 5: What does it take to grow a self-hosted coding model from pilot to team?
Viktor Farcic, LLM Inference Explained: 12 Concepts You Actually Need to Know.
Books and articles
Philip Kiely, Inference Engineering , Baseten Books, 2026. Free as an e-book.
Gergely Orosz & Philip Kiely, What is inference engineering? Deepdive , The Pragmatic Engineer, March 31, 2026.
ByteByteGo, A Guide to AI Inference Engineering , June 15, 2026.
Chris Zeoli, The Rise of Inference Engineering , Data Gravity, August 13, 2026.
Spheron, What Is Inference Engineering? The 2026 GPU Cloud Guide , updated October 19, 2026.
Vishakha Sadhwani, AI Inference Engineering Roadmap 2026: Complete Learning Path.
Charity Majors, Liz Fong-Jones and George Miranda, Observability Engineering , O’Reilly.
Lamhot Siagian, Efficient LLM Inference: Interview Pocket Notes, second edition, 2026.
Evals and benchmarks
Anthropic, Demystifying evals for AI agents , January 2026.
Hamel Husain and Shreya Shankar, AI Evals FAQ .
UK AI Security Institute, Inspect .
Hugging Face, upskill .
SemiAnalysis, AgentX methodology and datasets .
Papers
Yu et al., Orca: A Distributed Serving System for Transformer-Based Generative Models , OSDI 2022.
Kwon et al., Efficient Memory Management for Large Language Model Serving with PagedAttention , SOSP 2023.
Zhong et al., DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving , OSDI 2024.
Leviathan et al., Fast Inference from Transformers via Speculative Decoding , ICML 2023.
Dao et al., FlashAttention , 2022, and Shah et al., FlashAttention-3 , 2024.
Shoeybi et al., Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism , 2019.
Shazeer et al., Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer , 2017.