跳到正文
AI Engineer(youtube.com)· Harshul Jain·· 13 天前品質評分58

你的自架 LLM 叢集必須懂得說不——Audible 的 Harshul Jain 與 SAP 的 Parv Khatri

你的自架 LLM 叢集必須懂得說不——Audible 的 Harshul Jain 與 SAP 的 Parv Khatri

重點導讀

Audible 的 Harshul Jain 與 SAP 的 Parv Khatri 主張,自架 LLM 叢集需要入口層的准入控制(admission control),應以逐工作階段(per-session)政策與有效吞吐量(goodput)為判斷依據,而非單純計算請求數;他們開發的 admit-perf 工具能有效壓低尾端延遲。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

Podcast 專家音訊節目

收錄於 888news Podcast 智庫專區,包含精華摘要與上市公司即時行情

正文

Audible 資深軟體工程師 Harshul Jain 指出,自架 LLM 推論服務堆疊在面對 coding agent 流量時會失效,原因是標準推論管線中,沒有任何一層會在請求佔用 GPU 記憶體之前,先判斷這個請求該不該被放行。Jain 與 SAP 資深軟體開發者 Parv Khatri 在本集節目中,專門討論這個缺席的准入層(admission layer):它該放在哪裡、讀取哪些訊號、該如何回應,以及如何證明一套策略真的有效。整場對談依序拆解推論機制、KV 快取的成本結構、取自四篇論文的准入策略,以及一套以「准入下的有效吞吐」(goodput under admission)為核心指標的基準測試方法。兩人也介紹了開源工具 admit-perf,它同時可作為生產環境的入口函式庫與基準測試框架。

兩位講者都在生產環境中負責 LLM 與 AI 基礎設施:Jain 在 Audible 帶領 ML/AI 基礎設施團隊,並維護開源手冊《LLM Inference at Scale》與一套名為 agentship 的框架;Khatri 在 SAP 負責雲端應用與 LLM 基礎設施,也是 agentship 的貢獻者。讀者讀完後應該帶走四樣東西:一個明確的架構決策(把准入放在入口層、置於推論引擎之前)、一套描述三種准入結果及其對應 HTTP 狀態碼的詞彙、一棵用來挑選策略的決策樹,以及一套能避免最常見基準測試自欺的計分方法。

計算請求數量,不等於計算請求成本

核心論點是:推論管線中每一層現有的元件都會做出某種決策,但沒有任何一層回答「這個請求還有空間嗎?」這個問題。Agent 自己決定何時重試,API gateway 執行以金鑰為單位的速率限制,router 挑選健康的副本,推論引擎則負責排序批次,並在資源吃緊時進行驅逐。Jain 逐一說明各層對「還有空間嗎」的回答:agent 說「不干我的事」,gateway 說「我看不到」,router 說「不干我的事」,引擎則說「我只有在已經答應之後才會發現沒空間」。

這個遲來的「答應」所付出的代價,就是整套機制的關鍵。請求的 KV 快取在 prefill 階段建立,並隨著每個解碼出的 token 持續成長,而這塊記憶體會一直被保留,直到請求完成或客戶端斷線為止。Jain 的說法是:「答應不是一瞬間的事,而是一項延續整個請求生命週期的承諾。」當記憶體塞滿,引擎只剩下幾個糟糕的選項:把請求切換到等待狀態、驅逐它,或回傳錯誤;每一種都會增加延遲、違反 SLO,並浪費記憶體。

兩位講者用兩份公開的事故檢討報告,說明這件事的急迫性:

事故日期經過官方提出的後續措施
OpenAI2023 年 11 月 8 日歷經一整天異常沉重的流量後,路由伺服器記憶體耗盡、健康檢查失敗;事後增加副本並進行回滾優雅降載(graceful load shedding)
Anthropic(Sonnet 4.5)2026 年 1 月 21 日服務先變慢,接著在大約 90 分鐘內持續回傳錯誤;官方稱原因是算力不足以支撐需求更早偵測到容量上限

Jain 對這兩份報告的評論是:「兩份都沒有說我們需要更快的引擎。」兩份的後續措施都指向大門——更早決定哪些請求可以進來。

工作負載的轉變,正是這件事現在變得急迫的原因。過去的流量是人類在聊天,一次一個請求,中間還隔著幾秒的閱讀時間。Coding agent 改變了這一切。Jain 舉例:請 agent 修好一個失敗的測試,它可能會讀取大約 14 個檔案、執行大約 10 個測試,加總起來,單一使用者請求就變成 40 到 50 次 LLM 呼叫,其中混雜著長時間執行與短提示的呼叫,還疊加了重試、暫停與復原(undo)呼叫。

准入決策只有三種答案,每一種都有對應的客戶端契約

准入的定義是:在請求佔用任何 GPU 記憶體之前所做的決策,結果只會是三種之一。Khatri 逐一說明每種結果下伺服器該有的行為,以及 agent 正確的因應方式。

結果HTTP伺服器行為Agent 的正確行為
放行(Admit)200為整段提示承諾 KV 快取、加入執行中的批次、每一步解碼一個 token、保留記憶體直到完成或斷線從第一個 token 開始計時,而不是從送出時開始;若決定放棄,要真的關閉連線;把串流中途的失敗視為部分答案,需要做出是否重試的判斷
延後(Defer)503 + Retry-After告訴客戶端要等幾秒,數值由引擎狀態推算(例如執行中批次還要多久才能釋出足夠的快取)依 Retry-After 加上隨機抖動(jitter)後睡眠,再重試
拒絕(Reject)429 或 529429 代表這個客戶端或工作階段超出其配額(是呼叫端的問題);529 代表所有副本都滿了(是資源池的問題)遇到 429 就限制進行中的呼叫數;遇到 529 就等久一點、切換模型或供應商,或先把任務擱置;維持一份帶抖動的指數退避重試預算,最終要告知使用者

Khatri 對「延後」的警告是:「如果容量短期內根本不會回來,延後只是把問題往後踢。」這種情況下,誠實地拒絕反而更好。至於重試,最典型的失敗模式很機械:10 次重試都沒有 Retry-After,每個 agent 各自決定延遲(通常就是零),結果全部同時回來,「40 次呼叫就是這樣變成 80 次的。」有了 Retry-After 與抖動,重試就會分散在伺服器要求的時間窗內。至於 200,Khatri 的總結很直白:「200 承諾的是開始,不是完成。」一個已經逾時卻沒有關閉連線的 agent,仍然佔著 GPU 記憶體。

准入該放在入口層,因為只有入口層能同時看到兩邊

策略需要同時掌握兩邊的視角。從請求端要看:輸入長度、是哪個客戶端或租戶送來的、屬於哪個 agent 工作階段,以及截止期限。從引擎端要看:KV 快取使用量、最舊的請求已經等了多久、提示快取命中率,以及各副本池的負載。Khatri 的觀察是:「Gateway 握有左半邊,引擎握有右半邊,沒有人兩邊都有。這就是為什麼准入非得自成一層不可。」

兩位講者考慮了三種放置位置,並否決了其中兩種:

  • 入口層、置於引擎之前——能同時看到請求與引擎揭露的指標;只需要一個 proxy 或 gateway;引擎完全維持原樣。這也是他們在後續討論中一直採用的方案。
  • 佇列邊界、位於引擎排程器內部——能看到更多資訊,但必須維護一份修改過的 vLLM 或 SGLang,而且上游每次改版都得跟著更新。
  • 解碼過程中——排程器可以在回答到一半時暫停請求或回收其快取;同樣得 fork 並持續維護,但能見度最高。

八個訊號對應到簡單的門檻規則,每個訊號各自推向某一種結果。請求端:輸入太大、超出記憶體餘裕 → 拒絕;客戶端或租戶超出配額 → 429;單一 agent 工作階段的進行中呼叫過多 → 延後並附上 Retry-After;再等下去反正也會超過截止期限 → 拒絕。引擎端:KV 快取低於高水位線 → 放行;最舊的請求等待時間超過目標 → 延後;提示已經在快取中 → 優先放行,因為服務成本很低;所有資源池都滿了 → 529。Khatri 挑選訊號的原則是:「挑那種一秒內就會變化的訊號,例如佇列深度,而不是一分鐘的平均值。Coding agent 兩秒內就送出 40 次呼叫,一分鐘的平均值根本不會察覺。」

四個設計選擇,決定任何一套准入策略

Jain 把每套策略拆解成四個決策,每一個都會約束下一個:單位(你要放行什麼——單一請求、agent 工作階段,還是租戶)、訊號(你要觀察什麼)、規則(訊號如何變成決策)、動作(放行、延後、拒絕,以及客戶端會經歷什麼)。舉例來說,截止期限這種訊號只有在請求真的帶有截止期限時才有用。

單位的選擇後果最為鮮明。Jain 的舉例是:兩個 agent 任務各有 20 次呼叫,而容量只夠容納大約一半。若以請求為單位放行,兩個任務各有一半左右的呼叫能進來,但兩個任務都無法完成,因為各自都卡在沒能進來的呼叫上——「你把容量全部用光了,卻什麼也沒完成。」若以工作階段為單位放行,工作階段 A 可以完整做完,工作階段 B 則得到一個明確的「晚點再來」。他說明這張圖只是示意,但邏輯成立;而且 coding agent 送出的是工作階段,多數已發表的策略卻只放行單一請求。

訊號的選擇取決於你想防範哪種故障,而每個訊號都有文獻記載的失效模式:

訊號防範的問題何時失效
KV 壓力快取溢位快取永遠不會滿
KV 使用量 + 快取命中率浪費的重算(只要快取有被重複使用,滿了也無妨)
佇列深度漫長的等待—
截止期限餘裕延遲目標落空請求沒有帶截止期限
預測輸出長度長回答帶來的意外預測不準

規則的選擇是在成本與精細度之間取捨,而對 agent 流量來說,成本那一欄具有決定性:

規則型別範例論文決策成本論文報告的結果
門檻“Fluid weight”(Jain 標註為 2026 年)數十微秒提升 10–25%
雙重閘門(兩個訊號都必須同意)Concur低於 100 微秒SGLang 吞吐量最高提升 4 倍,但僅在離線環境測試
最佳化器(跨所有佇列規劃)QLM約 5 秒提升 40–90%
形式化界限(最壞情況的截止期限計算)Kronos微秒級延遲截止期限違約率從 99% 降到零

Jain 對這張表的提醒是:每篇論文用的模型、引擎與工作負載都不同,「所以請不要把這張表當成排行榜來讀。」若放在「截止期限 vs. 吞吐量」與「單一請求 vs. agent 工作階段」兩個軸上,四者沒有一個能乾淨俐落地套用在 coding agent 上:coding agent 需要的是一套能放行整個工作階段、能線上上即時流量中運作,而且能跑在你沒有 fork 過的引擎上的策略。Concur 最接近,但只在離線環境測試過。實務上的結論是:挑最接近的一套,然後自己打造。

Jain 提供的決策樹是:如果請求帶有截止期限,就用形式化界限(微秒級)。如果沒有,就問 KV 快取在尖峰負載下會不會滿——會的話,用雙重閘門或具備字首快取感知的 KV 門檻;不會的話,用佇列層級的門檻。

分母若不計入被拒絕的請求,基準測試就會失真

Khatri 的基準測試方法需要四樣東西:一個完全不設准入控制、純粹用來量測容量的叢集(後續每個負載水準都以這個數字為倍數表示)、一套策略(訊號、上限,以及說「不」時的做法)、一份流量軌跡(重播 coding agent 流量,從半載逐步升到兩倍容量),以及一個分數(同一份軌跡分別在有策略與無策略下各跑一次)。

分數正是他說多數人會出錯的地方。「准入下的有效吞吐」把符合 SLO 的請求放在分子——也就是回答準時開始、且 token 之間從未停頓過久——而分母則是所有送達的請求,包含被拒絕的。他示範為什麼要這樣算:拒絕 95% 的流量,把剩下的 5% 服務得完美無缺,那麼已放行請求的 SLO 達成率就是 100%,看起來「超棒,直接上線吧」。但准入下的有效吞吐只會報出 5%。「當你只計算自己留下的請求時,解除安裝看起來是免費的。其實不是。」

工作負載必須貼近真實流量:重播 agent 軌跡,連同其扇出、重試與工作階段,而不是均勻的隨機到達;負載要從半載一路掃到兩倍實測容量;截止期限則設為未負載延遲的倍數。而一套永遠不超過容量的基準測試,等於從未真正考驗過策略,因為策略根本不需要說「不」。

Khatri 列出每一份准入測試結果都應該揭露的七件事:負載以實測容量的倍數表示;截止期限相對於未負載延遲的倍數;訊號是否真的可用(他說沒有論文報告這一點);重複執行的次數與變異程度,而不是隻報一次僥倖的結果;每個引數的來源(是在此調校、借用,還是預設值);被拒絕的請求是否計入有效吞吐的分母;以及完整設定——模型、引擎、版本、硬體、工作負載、SLO 與基準線。他的說法是:「這些都沒有要求任何人改變評估方式,只是要求他們說清楚自己做了什麼。」

小模型基準測試顯示:真正的瓶頸是佇列深度,不是 KV 快取

兩位講者展示了 admit-perf 在一套刻意簡樸的環境下的結果:Qwen 2.5(一個 5 億引數模型)跑在 A10 GPU 上,引擎上限設為四個並行序列,八個請求、每秒 14 個,重複兩次。

設定放行率P95 首 token 時間
無准入控制—約 2.5 秒,上下擺動約 700 毫秒
佇列策略(最多兩個等待中)63%約 1 秒——在相同有效吞吐下約好 2.5 倍

Khatri 說他最喜歡的結果,是底下的診斷:在同一次執行中,KV 快取使用量最高只到 0.5%,佇列卻排到 24 個請求深。在小模型上,相對於四個短序列,KV 快取大得不成比例,所以永遠不會接近塞滿,所有壓力都反映在佇列上。一套 KV 壓力策略會盯著一條平線,然後放行所有請求——這正是設計表格中該訊號所列的失效模式。他的結論是:「訊號比門檻更重要。」

工具押注:生產與基準測試共用同一個策略函式

admit-perf 是同一個儲存庫、扮演兩種角色。在生產環境中,它是放在 vLLM 或 SGLang 前面的函式庫,為每個請求決定放行、延後或拒絕——也就是架構章節提到的入口層。在基準測試中,它是個測試框架,讓任何策略對著真實引擎、在真實 GPU 上執行,並報告該策略付出的代價。兩邊呼叫的是同一個 policy.decide 函式,所以「你拿來做基準測試的策略,就是你實際部署的策略。」Khatri 說他們之所以打造這個工具,是因為在他們調查的 16 篇論文中,沒有任何兩篇共用相同的基準線、引擎、工作負載或 SLO,否則根本無法進行一對一比較。

CLI 有五個指令:infra up 在真實 GPU 上啟動真實的 vLLM,infra smoke 檢查它是否正常服務,bench 把每套策略各跑數次,bench compare 報告哪套策略勝出、勝出多少,infra down 則把一切關掉——Khatri 說這是他最喜歡的指令。資源配置與基準測試刻意分成不同指令:載入模型要花好幾分鐘,而每套策略都必須面對完全相同的部署,因為若在策略之間重新配置,就會改變原本要固定住的那個變數。

有一個設計細節專門處理無聲的故障。每套策略都必須宣告它讀取的訊號——例如 KV 快取門檻策略會宣告它需要 kv_used_fraction。如果引擎無法回報該訊號,執行就會在啟動時直接報錯停止。少了這道檢查,缺失的訊號會被讀成零,而一套永遠看到零的 KV 門檻策略就會放行所有請求——「悄悄變成了什麼都不放行的基準線,而你的結果看起來完全正常。」每個決策都會連同它當時看到的狀態一併記錄,每次執行都會留下一個資料夾,內含四個檔案:manifest JSON、summary JSON、decision JSON 與 outcome JSON。另外還有一個說同樣三種端點的假引擎,讓整套環境可以在沒有 GPU 的筆電上跑起來;使用者自行提供的策略則會以獨立套件的形式被自動探索。

已發表研究與 coding agent 現實之間的落差,就是尚未解決的問題

本集的總結是:准入層是從結構上就缺席,而不是被疏忽——gateway 看不到引擎記憶體,引擎在承諾之前看不到請求,router 只看得到副本健康狀態。兩位講者的處方明確且一致——在入口層、在請求佔用 GPU 記憶體之前就提早說「不」,並在客戶端妥善處理 429/503/529 契約,搭配帶抖動的退避與重試預算。

尚未解決的則是策略本身。調查的四篇論文,各自最佳化截止期限或吞吐量,各自放行單一請求或 agent 工作階段;沒有一篇能同時線上上、在未經修改的引擎上,處理工作階段形態的 agent 流量。Concur 放行整個 agent,但只在離線環境測試過;QLM 很周全,但每個決策要花約 5 秒,Jain 指出,對兩秒內就送達的 40 次呼叫來說,這「等於派對結束後才出現」。至於兩位講者自己的基準測試,則是一個 5 億引數模型跑在一張 A10 上——足以證明佇列深度與 KV 壓力可能嚴重分歧,但不足以斷定在生產規模下哪個訊號勝出。對基礎設施團隊來說,實務上的結論是:把准入當成一個第一級、經過基準測試、且設定公開揭露的元件,並且對任何只報告延遲改善、卻不計入被拒絕請求的准入結果,一律保持懷疑。

來源: AI Engineer (youtube.com)
開啟原文

讀者討論

理性交流 · 即時討論