跳到正文
熱點事件持續更新

LLM延遲測量顯示單次資料不可靠

1 篇報導1 個報導來源11 小時前更新

先了解這件事

重點綜述

只測一次,很容易把大型語言模型的速度看錯,因為同一模型連續呼叫幾次,等到第一個 token 出現的時間也可能差很多。

  • 作者用同一個 API 測了多款模型,每款連測三次,並比較中位數與起伏範圍。
  • 有些模型的內部差距比模型之間的速度差還大,因此資料不足以判定哪個比較快。DeepSeek-V4-Pro 也曾連續兩個測量時段變慢,之後又恢復。作者建議至少測三次,記下中位數、範圍和測量時間。
  • HTTP 429 代表請求受到容量或配額限制,應當作一項結果記錄。

根據報導自動生成 · 11 小時前更新

報導時間線

沿著報導,瞭解事件的不同面向。

11月22日
  1. Dev.to Top Tech
    如何看懂大型語言模型的延遲數字:TTFT、樣本數與單次測量的問題

    只測一次,很容易把大型語言模型的速度看錯,因為同一模型連續呼叫幾次,等到第一個 token 出現的時間也可能差很多。作者用同一個 API 測了多款模型,每款連測三次,並比較中位數與起伏範圍;有些模型的內部差距比模型之間的速度差還大,因此資料不足以判定哪個比較快。DeepSeek-V4-Pro 也曾連續兩個測量時段變慢,之後又恢復。作者建議至少測三次,記下中位數、範圍和測量時間;HTTP 429 代表請求受到容量或配額限制,應當作一項結果記錄。

本事件熱度趨勢

當前熱度 7·可比範圍峰值 10(11月22日 19:00)·近 24 小時可比範圍變化 –

02.557.51011月22日19:0011月22日22:0011月23日02:0011月23日05:00

趨勢僅比較持續完整觀測到的相同主體,範圍可能小於當前熱度統計。移動指標或點選圖表檢視每小時熱度;鍵盤可用左右方向鍵切換。

讀者討論

針對此事件的各方觀點與即時反饋