ThunderAgent：高達 2 倍速度的代理式推理，提升大規模合成資料生成效能
ThunderAgent: 2x Faster Agentic Inference for Synthetic Data Generation at Scale
重點導讀
ThunderAgent 是一套針對代理式推理的程式級排程系統，透過將每個代理工作流程抽象為可排程程式，解決 KV cache 抖動問題。
- \n- 效能提升：單節點吞吐率提升至 2.5 倍，平均延遲下降 10 倍。
- 8 節點叢集加速 2.4 倍，近線性擴充套件。
推薦理由
本文提出程式級排程策略，消除 KV 快取抖動，單節點吞吐提升 2.5 倍，8 節點叢集加速 2.4 倍，對大規模代理式資料生成具有實際價值。
信源出處together.ai
ThunderAgent: 2x Faster Agentic Inference for Synthetic Data Generation at Scale
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論，請前往原始網站。
來源： Together AI Official Blog (together.ai)
開啟原文