如何看懂大型語言模型的延遲數字:TTFT、樣本數與單次測量的問題
只測一次,很容易把大型語言模型的速度看錯,因為同一模型連續呼叫幾次,等到第一個 token 出現的時間也可能差很多。作者用同一個 API 測了多款模型,每款連測三次,並比較中位數與起伏範圍;有些模型的內部差距比模型之間的速度差還大,因此資料不足以判定哪個比較快。DeepSeek-V4-Pro 也曾連續兩個測量時段變慢,之後又恢復。作者建議至少測三次,記下中位數、範圍和測量時間;HTTP 429 代表請求受到容量或配額限制,應當作一項結果記錄。