跳到正文

#資料/訓練

RSS
今日 8 則
10月21日週三
  1. AWS Machine Learning Blog76

    微調 GPT‑OSS‑20B 於 Amazon SageMaker HyperPod 上的多語言推理

    本文示範如何在 Amazon SageMaker HyperPod 上使用 SFT 與 GRPO 微調 GPT‑OSS‑20B,使其在多語言推理任務中的推理語言正確率從 22% 提升至 100%,並在答案語言上提升至 70%。

    推薦理由:本篇示範如何在 SageMaker HyperPod 上使用 SFT 與 GRPO 微調 GPT-OSS-20B,並揭示兩種技術的適用場景,對想要提升多語言推理模型的實務團隊具有參考價值。

10月20日週二
10月19日週一
10月18日週日
10月17日週六
10月16日週五
  1. Hugging Face Blog74

    2.8 兆 token 印度語言預訓練與開放資料生成管線

    本研究釋出一份 2.8 兆 token 的 Indic 語料庫與可重複使用的 GPU 加速資料生成管線,並說明其在 Nemotron 3.5 Super VL 上的效能提升。

    推薦理由:提供了可複製的 2.8 兆 token 語料與 GPU 加速生成流程,可幫助研究者構建更強的印度語言模型,並展示其在多項 Indic 評測中的顯著提升。

10月15日週四
  1. Mistral AI78

    Timestral 正式推出首款時序基礎模型

    Timestral 正式推出,首款時序基礎模型,僅 209M 引數即可在 GIFT‑Eval、TIME 及 fev‑bench 上領先同類模型。 - 模型規格:四個版本 5M、28M、123M、209M,引數量分別對應不同精度與速度需求。

    推薦理由:Timestral 以 209M 引數在 GIFT‑Eval、TIME 及 fev‑bench 上領先,精度預測能力突出,對部署企業有參考價值。

  2. Hacker News (official RSS)45

    How to Train Your Robot

    summary_zh: 機器人訓練的關鍵在於大量正確操作的範例,而目前最常用的資料來源是人類透過遠端操作收集的資料。 - 資料規模:自 2010 年代初起,AI 語言模型訓練資料每六個月翻倍,今日大型模型使用數萬兆 token;GPT‑3 以 300 B token 訓練;2024 年估計可用文本資料約 300 T token,但機器人訓練資料幾乎不存在。

  3. Hugging Face Blog77

    Apertus 1.5 釋出跨模態、四倍長上下文與思考模式新功能

    Apertus 1.5 於 2026 年 7 月 24 日在 Hugging Face 以 Apache 2.0 授權釋出,新增跨模態理解、四倍長上下文、思考模式及工具使用最佳化。

    推薦理由:Apertus 1.5 以四倍上下文、跨模態能力及思考模式提升推理與工具使用,讀者可評估其在多模態任務與長文本推理中的應用潛力。

  4. Hacker News (official RSS)45

    Ultramarine 1 Flash

    summary_zh: Ultramarine 1 Flash 是一款針對金融、法律、諮詢與運營等專業工作設計的開源模型,且比 Fable 便宜 60 倍。 - token 效率:在六項基準測試中,Ultramarine 1 Flash 產生的 token 數量比基礎模型 GLM-5.3 Flash 少 6.5%,縮短推理路徑。

  5. Ars Technica · AI67

    研究者利用 AI 設計可切割其他蛋白的酶

    AI 重新設計蛋白酶,使其能夠選擇性切割其他蛋白,研究團隊示範其對神經疾病相關蛋白的切割效果。 - 核心技術 利用 AI 蛋白設計工具取代兩類蛋白酶的非催化區域,保留催化核心。 - 應用示例 新酶成功切割與神經疾病相關的蛋白,證明可作為藥物開發工具。 - 潛在影響 提供一種快速產生定製蛋白酶的新方法,可能加速治療蛋白質疾病的研發。

10月14日週三
10月13日週二
  1. Modal Engineering Blog89

    混合精度、混合加速器取樣的 RL 研究

    導語:本文探討在大模型強化學習中,使用混合精度與混合加速器取樣,並透過離線補正方法實現穩定且成本更低的訓練。 - 混合取樣架構:六種加速器(B200、B300、H100、H200、A100、RTX PRO 6000)各自採用不同精度(FP8、NVFP4、BF16)與核,輸入到單一 BF16 訓練器。

    推薦理由:本文展示混合精度、混合加速器取樣能在保持訓練穩定的同時降低成本,提供可擴充套件的 RL 訓練範式。

  2. Unsloth AI Releases79

    Unsloth AI 推出瀏覽器使用、Qwen-Image-2.1-Turbo 影像生成與加速訓練功能

    Unsloth AI 推出可瀏覽、影像生成與加速訓練功能,讓本地模型即時查詢網頁並以 8 步完成影像創作。 - 瀏覽器使用:模型可在聊天框內開啟、閱讀、點選、輸入並滾動,支援本地模型與 API 提供者。

    推薦理由:Unsloth AI 推出可瀏覽、影像生成與加速訓練功能,讓本地模型即時查詢網頁並以 8 步完成影像創作,對開發者提升工作流程效率具有實際價值。

  3. Amazon Science85

    Priming:從預訓練 Transformer 建立混合狀態空間模型

    Amazon Web Services 團隊發表名為 Priming 的新方法,能以不到傳統預訓練 0.5% 的成本,將預訓練 Transformer 轉換為混合狀態空間模型。

    推薦理由:原文提出無需從頭訓練即可將 Transformer 轉換為混合狀態空間模型的 priming 方法,讀者可據此評估如何大幅降低架構探索與訓練成本。

  4. Thom Wolf (@Thom_Wolf)78

    碳A 是一個 DNA 模型,已於 10 月 12 日在 Hugging Face 發布,能跨 22,000 種生物提出 5億 基因候選。 基因候選數:超過 5億,涵蓋 22,000 種物種。 公開平臺:已上線 Hugging Face Spaces,供研究者直接使用。 新舊對比:綠色標示為碳A新增注釋,藍色為現有資料庫。

    推薦理由:碳A模型跨22,000種生物提出5億基因候選,顯示大規模基因預測的可行性

  5. Hacker News (official RSS)47

    GLM-Legal

    summary_zh: GLM‑Legal 在三項基準測試中,與前沿封閉源模型相當,並在 Harvey LAB 全通過率達 19.2%。 - 全通過率:Harvey LAB 19.2%,比基礎模型提升 12.5%。

10月12日週一
10月11日週日