Python 的 json.dumps 預設設定,讓俄文提示詞多花 3.6 倍 token
Python's json.dumps made my Russian prompt 3.6x more expensive with one default
重點導讀
把資料轉成 JSON 放進提示詞時,Python 預設會把俄文、中文和表情符號改寫成一串跳脫字元,模型讀到的字元變多,輸入 token 也跟著增加。
- 作者用 50 筆俄文模型介紹比較後發現,加入
ensure_ascii=False,整份資料的 token 數從 10,014 降到 2,753。 - 只看俄文介紹則從 8,679 降到 1,417。文中估算,一個每天呼叫 10,000 次的客服機器人,每月可少花約 $1,740。這項比較使用 GPT-5.x 採用的 tokenizer。
- 其他模型的實際差距可能不同,作者也沒有測試回答品質。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
推薦理由
作者比較俄文資料經過不同 JSON 設定後的 token 數量,並示範如何檢查提示詞中的跳脫字元與降低額外成本。
信源出處dev.to
Python's json.dumps made my Russian prompt 3.6x more expensive with one default
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文