GPT-5 用斯洛伐克語更耗 token,作者比較 204 種語言找原因
同一句話用斯洛伐克語送進 GPT-5,可能比用英文花更多 token,讓費用增加,也更快用完上下文視窗。作者用相同的 1,012 句內容測試 204 種語言和 35 種 tokenizer,發現 GPT-5 切分斯洛伐克語所需的 token 是英文的 1.68 倍;作者認為,主要原因是訓練資料中的斯洛伐克語較少。文章也提醒,選模型時要把語言造成的 token 差異算進成本,並用實際 tokenizer 計算 RAG 文字分段;token 較省也不代表模型回答得比較好。