跳到正文
LMSYS Org Blog(lmsys.org)· Miles Team: Jiajun Li, Yuzhen Zhou, Shi Dong, Yanbin Jiang, Mao Cheng, Yusheng Su, Yueming Yuan, Zhichen Zeng, Banghua Zhu·· 2026-06-05品質評分56

Miles 如何讓 AI 助理訓練時保留推論用過的每個 token

No Token Left Behind: Demystifying Token-In-Token-Out in Miles

重點導讀

AI 助理在多輪任務中會反覆呼叫模型和工具;如果訓練時重新整理對話,模型實際看過的內容可能被改掉。

  • Miles 用 Token-In-Token-Out(TITO)原則,讓每一輪只把新內容接到原有 token 序列後面,並檢查它是否和完整對話重新產生的內容相符。文章舉例說明,文字轉回 token 時可能變成不同切法,聊天格式也可能刪掉先前的推理,或改變工具呼叫的空格。這些差異會讓訓練時的上下文和模型生成時不一致。
  • Miles 也為不同模型處理格式邊界的差異,並列出目前支援的模型。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

信源出處lmsys.org

No Token Left Behind: Demystifying Token-In-Token-Out in Miles

本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: LMSYS Org Blog (lmsys.org)
開啟原文

讀者討論

理性交流 · 即時討論