Claude Platform 推出 message threads 公測,降低長會話智慧體延遲
Claude Platform 推出 message threads 公測,降低長會話智慧體延遲
Claude Platform 正式推出 message threads 公測,讓智慧體只需傳送新增訊息即可減少首 token 延遲。
- 延遲改善:在 500k–1M token 請求下,TTFT 中位數下降約 35%。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
Claude:Blog·2026-11-02 08:00· 20 小時前精選AI 評分69
Make long-running agents faster with message threads
AI 導讀
Anthropic 在 Claude Platform 推出 message threads 公測,智慧體每輪只需傳送新增訊息而無需重發全部對話歷史,從而縮短首 token 時間。
推薦理由
原文給出了 500k 至 1M token 請求下 TTFT 中位數下降約 35% 的資料,以及執行緒生命週期和接入方式,便於評估長會話智慧體的延遲收益。
訊息執行緒功能現已在 Claude 平臺開啟公開測試。藉助訊息執行緒,智慧體不必在每一輪都重新發送完整的對話歷史,從而降低長時間會話的延遲。
訊息執行緒的工作原理
一個程式設計智慧體在一次會話中可能發出數百個請求,而每個請求都會重新發送此前所有的訊息和工具結果。當對話達到數十萬 token 時,重發全部內容會讓 Claude 開始響應前的等待時間變長。使用訊息執行緒後,智慧體只發送自上一輪以來的新增內容,從而縮短首 token 延遲(TTFT)。
大多數 Claude Code 使用者預設開啟訊息執行緒後,50 萬至 100 萬 token 的請求首 token 延遲中位數下降約 35%。
要使用訊息執行緒,請在 Messages API 請求中新增 thread 引數。第一個請求包含完整對話並開啟一個執行緒,此後每個請求只包含新訊息和上一條響應的 ID。在兩輪之間,我們會把每個執行緒儲存在記憶體中,加密儲存且不寫入磁碟。執行緒在最後一次請求後 5 分鐘過期,之後客戶端會重新發送完整對話以開啟新執行緒。雖然使用訊息執行緒後每個請求更小,但 Claude 在每一輪仍會讀取完整對話,因此 token 用量保持不變。
訊息執行緒最適合對延遲敏感的活躍會話,包括:
- 長時間執行的程式設計智慧體,每個工具結果或檔案編輯都會增加對話內容。
- 計算機使用智慧體,截圖保留線上程中,無需每輪重新上傳。
- 文件和圖片密集型工作流,請求體積得以減小。
智慧體攜帶的上下文越多,訊息執行緒能縮短的首 token 延遲就越多。
開始使用
訊息執行緒現已在原生 Claude 平臺開啟公開測試,同時也已在 AWS 上的 Claude 平臺、Microsoft Foundry 中的 Claude,以及 Google Cloud 上的 Claude 模型(Anthropic 託管)上線。適用標準 Claude token 費率和現有速率限制。請參閱文件開始使用。
來源:Claude:Blog · claude.com