MLBox 用瀏覽器比較 LLM tokenizer,看看文字會被切成多少 token
I Built MLBox: A Browser Workbench That Shows How LLM Tokenizers Really Work
重點導讀
同一段文字交給不同 LLM tokenizer 處理,切出的 token 數可能差很多,也會影響費用估算。
- Mohit Verma 做了開源工具 MLBox,讓人直接在瀏覽器貼上文字,比較 7 種 tokenizer 的切分結果、字元費用和差異。像「नमस्ते दुनिया」這 13 個字元,GPT-4o 會切成 5 個 token,Llama 3.1 切成 9 個,cl100k 切成 13 個。頁面還有神經網路練習場、可在筆電完成的 ML 專案清單,以及模型價格計算工具。
- 所有功能都能離線使用,文字不會離開自己的裝置。
AI 伴隨問答
針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:
信源出處dev.to
I Built MLBox: A Browser Workbench That Shows How LLM Tokenizers Really Work
本文為 888news 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。
來源: Dev.to Top Tech (dev.to)
開啟原文