擁有自家推論能力的代理——Akamai Technologies 的 Du'an Lightfoot 與 Khaja Omer

這場 109 分鐘工作坊裡最有價值的內容，不是標題所標榜的「讓代理自己擁有推論能力」——那個論點只佔開場幾分鐘——而是實機操作、數字紮實的演練：如何在單張專用 GPU 上跑生產級 LLM 端點並調校它。Akamai 兩位工程師——開發者推廣 Du'an Lightfoot 與資深軟體工程師 Khaja Omer——把大部分時間花在即時的 Jupyter／Kubernetes 環境裡，測量每秒 Token 數、首 Token 延遲（time-to-first-token）與 KV 快取行為，然後一次改一個 VLLM 引數，看這些數字怎麼動。最受矚目的實測結果：把 Qwen 3 4B 模型從 BF