推論如何跟上我們對 Token 永無止境的需求——Cerebras 與 Gimlet Labs

推論最佳化已經從核心層級（kernel）的問題，升級為系統層級的問題。這是這場 22 分鐘演講的核心論點。講者 Daniel Kim 在 Cerebras 負責 AI 與 AI 代理相關工作，另一位講者 Michelle 則是 Gimlet Labs 的共同創辦人，該公司正在打造多晶片架構的「neocloud」，目標是在堆疊的每一層最佳化推論。他們的說法是：從 2022 年一路支撐推論到今天的執行期技巧——批次處理（batching）、分頁 KV 快取（paged KV cache）、提示快取（prompt caching）、分塊預填（chunked prefill）——大致上已經被榨乾，接下