你的自架 LLM 叢集必須懂得說不——Audible 的 Harshul Jain 與 SAP 的 Parv Khatri
Audible 的 Harshul Jain 與 SAP 的 Parv Khatri 主張,自架 LLM 叢集需要入口層的准入控制(admission control),應以逐工作階段(per-session)政策與有效吞吐量(goodput)為判斷依據,而非單純計算請求數;他們開發的 admit-perf 工具能有效壓低尾端延遲。
Audible 的 Harshul Jain 與 SAP 的 Parv Khatri 主張,自架 LLM 叢集需要入口層的准入控制(admission control),應以逐工作階段(per-session)政策與有效吞吐量(goodput)為判斷依據,而非單純計算請求數;他們開發的 admit-perf 工具能有效壓低尾端延遲。