跳到正文

#代理流量模式

RSS
今日 0 則
11月10日週二
  1. AI Engineer🎙️ Podcast58

    你的自架 LLM 叢集必須懂得說不——Audible 的 Harshul Jain 與 SAP 的 Parv Khatri

    Audible 的 Harshul Jain 與 SAP 的 Parv Khatri 主張,自架 LLM 叢集需要入口層的准入控制(admission control),應以逐工作階段(per-session)政策與有效吞吐量(goodput)為判斷依據,而非單純計算請求數;他們開發的 admit-perf 工具能有效壓低尾端延遲。