跳到正文

資料與訓練

訓練側的門道:資料集構建、合成數據、預訓練與後訓練方法、算力與訓練成本。

112條精選相關主題論文研究部署工程模型發布

最新精選

第 81–100 條 · 共 112 條
9月8日週二
  1. Nathan Lambert (Interconnects)79

    最新開源實體 (#24):Motif‑3、GLM‑5.3、Hy4‑preview 及開放模型授權

    GLM‑5.3 於 2026 年以自訂授權釋出,要求 10 億美元營收的服務商須通過 Z.AI 安全審核。 - 西方模型授權趨勢:Google 與 Meta 轉向 Apache 2.0,降低採用門檻。

    推薦理由:本文闡述西方開源授權與中國模型授權的差異,對開發者評估採用風險與合規成本具有參考價值,並列舉多款新模型與其授權條款,方便快速比較。

8月27日週四
  1. Amazon Science65

    LLM 判斷者一致時,是否值得信任?

    本研究提出利用 Ising 模型調整 LLM 判斷者之間的依賴關係,提升聚合準確度 9%–14%。 - 任務範疇:評估檢索增強生成系統中的相關性、毒性與摘要品質,共三個二分類任務。

    推薦理由:本研究提供一套利用 Ising 模型調整判斷者互相依賴關係的聚合方法,提升 LLM 判斷準確度 9%–14%,對構建更可靠的評估流程具有實際意義。

8月10日週一
  1. Hugging Face Blog64

    讓知識蒸餾足夠低成本以實現規模化執行

    Multiverse Computing 在其最新論文《Efficient Knowledge Distillation for LLMs: Offline Top‑K Logits and a Fused Chunked KL Loss》中提出離線 Top‑100 logits 快取與分塊 KL 損失兩項改進。

    推薦理由:本文提出的離線Top‑K logits快取和分塊KL損失顯著降低視訊記憶體需求,使大規模LLM蒸餾可在單GPU上完成,降低成本並提升實驗效率。

7月31日週五
  1. Amazon Science62

    工業機械控制器協調多工機器學習

    ControlG 以 PID 控制器協調圖自監督學習中的多工目標,顯著提升多圖基準的表現。 - 核心機制:三階段迴圈—感知難度、規劃分配、PID 控制,避免梯度衝突。

    推薦理由:本研究提出 ControlG,利用 PID 控制器動態分配多工學習資源,顯著提升圖自監督學習表現。

7月27日週一
  1. Import AI80

    MirrorCode:AI 透過純輸入輸出重寫 25 程式,揭示自我導向與機器人效能突破

    核心評測:MirrorCode 針對 25 個大型程式(共 132 個任務例項),17/25 取得完美分數,4/25 超過 99%。

    推薦理由:MirrorCode 讓 AI 透過純輸入輸出自行重寫 25 個大型程式,證明其自我導向能力與程式開發潛力;同時,Anthropic 及 Sunday 的實驗顯示大模型可顯著提升機器人執行效率與泛化性。

7月23日週四
  1. Google Research70

    讓量子計算機從錯誤中學習

    Google Research 在其 Willow 超導處理器上演示了利用強化學習實現量子計算機持續校準的方法,顯著降低了邏輯錯誤率。實驗中,RL 訓練將錯誤率降低 3.5 倍,最終邏輯錯誤率低至每千個糾錯週期不到一次,並在數百量子位元的模擬中驗證了可擴充套件性。該方法將量子錯誤檢測事件作為主動學習訊號,展示了可持續計算的新範式。

    推薦理由:通過強化學習實現量子計算機持續校準,顯著降低邏輯錯誤率,展示了可擴充套件的自適應控制方法,為未來大規模量子計算提供可行路徑。

7月16日週四
  1. Google Research62

    揭示擴散模型創造力的奧秘

    Google Research 通過數學分析解釋了擴散模型的創造力來源,指出正則化導致的分數平滑使模型在去噪過程中產生插值,從而生成新穎影像。文章以一維示例說明分數平滑如何軟化梯度,並通過實驗驗證權重衰減對其影響;在多維情形下,分數平滑幫助模型在資料流形上平衡質量與新穎性。作者已公開實驗程式碼。

    推薦理由:本文闡釋擴散模型創造力來源,揭示正則化導致的分數平滑如何產生新穎影像,並指出可通過調節正則化實現更具創造性的生成。

6月30日週二
6月4日週四
  1. Google Research72

    Google開源水文框架,開啟洪水韌性新篇章

    Google Research公開了其水文模型框架,供各國氣象機構在GitHub上使用和構建AI洪水預報模型。該框架基於PyTorch實現LSTM網路,支援使用Caravan資料集訓練,並已在Czech Hydrometeorological Institute驗證,提升預測時效6天。

    推薦理由:Google公開的水文框架讓各國氣象機構可自行訓練AI洪水預報模型,提升預測時效並降低技術門檻。

6月3日週三
  1. Axolotl Releases64

    Axolotl 發布 v0.17.0,擴充 MoE、遠端與多模態訓練支援

    開源模型訓練工具 Axolotl 發布 v0.17.0,新增多種訓練能力並修正多模態損失遮罩。 - 分散式訓練:加入透過 DeepSeek 的 DeepEP 執行 MoE Expert Parallelism,已在 2×A100、4×A100、8×H100 上驗證。

    推薦理由:多模態助理專用損失遮罩修正會改變相關訓練的 loss 值,版本也包含破壞性設定更名,升級時需一併留意。

6月1日週一
  1. Import AI73

    Import AI 459:AI 監督困難、蛋白質模型規模法則與 AI 系統滅絕風險定價

    Import AI 459 以多角度回顧 AI 經濟增長、監督難題、資料集與蛋白質模型進展,並探討 AI 系統滅絕風險的定價。 - AI 經濟:美國 AI GDP 估計 2025 年約 2500 億美元,年增速超 2600%。

    推薦理由:深入探討透過多角度分析,瞭解 AI 產業增長、監督挑戰、資料資源與生物科學突破,協助讀者把握未來趨勢。

  2. Modal Engineering Blog68

    強化學習:基礎設施瓶頸與 Modal Dojo 解決方案

    強化學習:基礎設施瓶頸與 Modal Dojo 解決方案 - 核心問題:RL 後訓練需要三大獨立基礎設施,包含可擴充套件的訓練引擎、近光速推論引擎以及可並行執行的環境沙盒;多節點擴充套件時權重同步成瓶頸。

    推薦理由:文章闡述 RL 基礎設施瓶頸與解決方案,並提供 Modal Dojo 開源庫,協助團隊快速擴充套件大模型訓練,並降低基礎設施成本與開發複雜度。

4月30日週四
  1. Together AI Official Blog66

    Together AI 與 Adaption 聯盟合作公告

    Together AI 與 Adaption 共同推出 Adaptive Data 與 Together Fine‑Tuning 的整合,讓使用者可在 Adaptive Data 上最佳化資料後直接進行高效微調與部署。

    推薦理由:此合作將 Adaptive Data 的資料最佳化技術與 Together Fine‑Tuning 的高效訓練平臺結合,提升模型品質並縮短實驗週期,為開發者提供更快的模型迭代流程。

4月24日週五
  1. Together AI Official Blog69

    分佈感知推測解碼提升 RL 回合時間 50%

    分佈感知推測解碼(DAS)能在 RL 後訓練中將回合時間縮短 50%,同時保持獎勵曲線不變。• 核心技術 採用字尾樹草稿器和長度感知排程,實現零成本自適應。

    推薦理由:此研究提出分佈感知推測解碼,能在 RL 後訓練中將回合時間縮短 50%,對大規模模型訓練成本節省具有實際參考價值。

4月15日週三
3月25日週三
  1. Modal Engineering Blog65

    Doppel 透過 Modal 消除 ML 基礎設施成本

    本文:Doppel 透過 Modal 重構 ML 執行流程,將實驗與推論的迭代時間大幅縮短。 - 實驗加速:Modal 允許在 Python 中以 map() 方式並行執行 K‑fold 交叉驗證,將原本順序跑的實驗改為同時執行,縮短回饋迴圈。

    推薦理由:本文示範如何以 Modal 取代傳統雲端流程,顯著縮短實驗與推論迭代時間,對需要快速部署 AI 的團隊具備實務參考價值。

3月18日週三
  1. Together AI Official Blog73

    Together AI 擴充微調服務,新增工具呼叫、推理與視覺支援

    Together AI 推出新版微調服務,新增工具呼叫、推理與視覺語言模型支援,並提升至 100B+ 引數模型的高效微調。 - 工具呼叫:提供結構化驗證、全流程支援,適用 Qwen、Moonshot AI、Z.AI。

    推薦理由:此更新提升工具呼叫、推理與視覺功能,讓團隊可每日迭代、成本降低 2–3 倍、準確率提升至 87%,並支援 100B+ 引數模型與 100GB 資料集的高效微調,並提供預估成本與 ETA 以利實驗規劃,並可在多模態任務中使用 Vision‑Language 模型微調。

3月17日週二
  1. Together AI Official Blog70

    Mamba‑3 發布:更高效的 SSM 方案提升 1.5B 模型推理速度

    Mamba‑3 是一款新型 SSM,專為推理效率設計,於 1.5B 模型層級下,預填+解碼延遲均優於 Llama‑3.2‑1B、Gated DeltaNet 及 Mamba‑2。

    推薦理由:Mamba‑3 以高效的 SSM 方案,提升 1.5B 模型預填解碼延遲,並提供 Triton/TileLang/CuTe kernels,為線性模型推理競爭力提供基礎。

3月12日週四
  1. Google Research68

    AI 驅動閃洪預測,守護城市

    Google Research 推出 AI 驅動的城市閃洪預測系統,並在 Flood Hub 上提供服務。該系統利用 Groundsource 資料集和 Gemini 分析新聞報道,構建 24 小時預警模型。

    推薦理由:Google 通過 AI 預測城市閃洪,提供 24 小時預警,填補全球南方缺乏預警的空白,可能挽救數千人生命,並提升災害響應效率。

  2. Google Research72

    推出 Groundsource:利用 Gemini 將新聞報道轉化為資料

    Google Research 推出 Groundsource,利用 Gemini 將全球新聞報道轉化為結構化災害資料,首次公開 260 萬條洪水記錄,覆蓋 150+ 國家。該方法通過新聞文本提取、時間空間推理和地圖對映,驗證準確率達 82%,顯著擴充套件現有災害資料庫,為城市規劃、保險和應急響應提供可靠的歷史基線。

    推薦理由:Groundsource 利用 Gemini 將全球新聞報道轉化為結構化災害資料,首次公開 260 萬條洪水記錄,覆蓋 150+ 國家,顯著提升災害預測精度,為城市規劃、保險和應急響應提供可靠的歷史基線。