同一個模型，速度卻大不同：為什麼推論供應商是關鍵——FriendliAI

FriendliAI 的創始工程師 Yunmo Koo 主張，如今選擇推論供應商的重要性，已不亞於選擇模型本身。他在一場研討會上演講，帶聽眾做了一場實測比較，顯示同一個開放權重模型交由不同供應商執行，在延遲、成本與可靠性上會出現實質差異——而這些差異源自整套推論堆疊，而非模型權重。這場演講固然是 FriendliAI 推論 API 的產品宣傳，同時也是一份精簡的技術入門，說明 KV 快取重用、快取感知路由、階層式記憶體與推測解碼（speculative decoding）為何決定了開發者實際體驗到的表現。 本集標題把主題定調為「同一個模型，不同的速度」，這個主軸確實貫穿整場演講，不過實質內容