GPT-5 用斯洛伐克語更耗 token,作者比較 204 種語言找原因
Slovak costs 68% more than English in GPT-5. I tokenized 204 languages to find out why
重點導讀
同一句話用斯洛伐克語送進 GPT-5,可能比用英文花更多 token,讓費用增加,也更快用完上下文視窗。
- 作者用相同的 1,012 句內容測試 204 種語言和 35 種 tokenizer,發現 GPT-5 切分斯洛伐克語所需的 token 是英文的 1.68 倍。
- 作者認為,主要原因是訓練資料中的斯洛伐克語較少。文章也提醒,選模型時要把語言造成的 token 差異算進成本,並用實際 tokenizer 計算 RAG 文字分段。
- token 較省也不代表模型回答得比較好。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
Slovak costs 68% more than English in GPT-5. I tokenized 204 languages to find out why
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文