跳到正文
Hugging Face Blog(huggingface.co)·· 2 小時前精選AI 評分74

2.8 兆 token 印度語言預訓練與開放資料生成管線

Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline

AI 導讀

本研究釋出一份 2.8 兆 token 的 Indic 語料庫與可重複使用的 GPU 加速資料生成管線,並說明其在 Nemotron 3.5 Super VL 上的效能提升。

推薦理由

提供了可複製的 2.8 兆 token 語料與 GPU 加速生成流程,可幫助研究者構建更強的印度語言模型,並展示其在多項 Indic 評測中的顯著提升。

信源出處huggingface.co

Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline

本文為 888news AI 精選之重點導讀。若需閱讀作者完整原文、技術細節與官方討論,請前往原始網站。

開啟原文
來源: Hugging Face Blog (huggingface.co)
開啟原文