跳到正文

数据与训练

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

最新精選

第 1–9 條 · 共 9 條
今天10月1日週四
  1. cloudflare blog75

    一年後:主權 AI 與選擇權之戰

    Cloudflare 今年推出了兩款歐洲開放語言模型 EuroLLM 與 Apertus,並開啟 AI 防禦工作坊,為政府與關鍵基礎設施提供多模型選擇。 - EuroLLM:支援 35 程式語言(含 24 個 EU 官方語言),在 EU 多語言基準上表現優於同規模模型。

    推薦理由:文章說明 Cloudflare 如何透過開放模型與多模型防禦,促進 AI 主權與網路安全,對政府與關鍵基礎設施有實際應用價值。

9月25日週五
  1. AWS Machine Learning Blog70

    Amazon SageMaker HyperPod 与 Qumulo 实现多区域训练

    本文介绍了如何使用 Amazon SageMaker HyperPod 与 Qumulo 的 Cloud Native 解决方案,在不同 AWS 区域间进行大规模 AI 模型训练,并给出了跨区域训练的性能验证结果。

    推薦理由:文章详细说明如何使用 SageMaker HyperPod 与 Qumulo 进行跨区域训练,并给出验证结果,帮助读者评估跨区域训练的性能与成本。

8月10日週一
  1. Hugging Face Blog64

    让知识蒸馏足够低成本以实现规模化运行

    Multiverse Computing 在其最新论文《Efficient Knowledge Distillation for LLMs: Offline Top‑K Logits and a Fused Chunked KL Loss》中提出离线 Top‑100 logits 缓存与分块 KL 损失两项改进。

    推薦理由:本文提出的离线Top‑K logits缓存和分块KL损失显著降低显存需求,使大规模LLM蒸馏可在单GPU上完成,降低成本并提升实验效率。

7月23日週四
  1. Google Research70

    让量子计算机从错误中学习

    Google Research 在其 Willow 超导处理器上演示了利用强化学习实现量子计算机持续校准的方法,显著降低了逻辑错误率。实验中,RL 训练将错误率降低 3.5 倍,最终逻辑错误率低至每千个纠错周期不到一次,并在数百量子比特的模拟中验证了可扩展性。该方法将量子错误检测事件作为主动学习信号,展示了可持续计算的新范式。

    推薦理由:通过强化学习实现量子计算机持续校准,显著降低逻辑错误率,展示了可扩展的自适应控制方法,为未来大规模量子计算提供可行路径。

7月16日週四
  1. Google Research62

    揭示扩散模型创造力的奥秘

    Google Research 通过数学分析解释了扩散模型的创造力来源,指出正则化导致的分数平滑使模型在去噪过程中产生插值,从而生成新颖图像。文章以一维示例说明分数平滑如何软化梯度,并通过实验验证权重衰减对其影响;在多维情形下,分数平滑帮助模型在数据流形上平衡质量与新颖性。作者已公开实验代码。

    推薦理由:本文阐释扩散模型创造力来源,揭示正则化导致的分数平滑如何产生新颖图像,并指出可通过调节正则化实现更具创造性的生成。

6月4日週四
  1. Google Research72

    Google开源水文框架,开启洪水韧性新篇章

    Google Research公开了其水文模型框架,供各国气象机构在GitHub上使用和构建AI洪水预报模型。该框架基于PyTorch实现LSTM网络,支持使用Caravan数据集训练,并已在Czech Hydrometeorological Institute验证,提升预测时效6天。

    推薦理由:Google公开的水文框架让各国气象机构可自行训练AI洪水预报模型,提升预测时效并降低技术门槛。

3月13日週五
  1. Berkeley AI Research68

    大规模 LLM 交互识别方法

    本文介绍了 SPEX 与 ProxySPEX 两种算法,利用稀疏恢复和层次结构在大规模 LLM 交互识别中显著降低计算成本。SPEX 通过信号处理和编码理论实现数千个组件的交互发现,ProxySPEX 在保持性能的同时将 ablation 数量减少约 10 倍。两种方法已在 SHAP‑IQ 仓库公开,支持特征、数据和模型组件的解释。

    推薦理由:SPEX 和 ProxySPEX 通过稀疏恢复和层次结构显著降低了交互发现的计算成本,为大规模 LLM 解释提供了可行方案。

3月12日週四
  1. Google Research68

    AI 驱动闪洪预测,守护城市

    Google Research 推出 AI 驱动的城市闪洪预测系统,并在 Flood Hub 上提供服务。该系统利用 Groundsource 数据集和 Gemini 分析新闻报道,构建 24 小时预警模型。

    推薦理由:Google 通过 AI 预测城市闪洪,提供 24 小时预警,填补全球南方缺乏预警的空白,可能挽救数千人生命,并提升灾害响应效率。

  2. Google Research72

    推出 Groundsource:利用 Gemini 将新闻报道转化为数据

    Google Research 推出 Groundsource,利用 Gemini 将全球新闻报道转化为结构化灾害数据,首次公开 260 万条洪水记录,覆盖 150+ 国家。该方法通过新闻文本提取、时间空间推理和地图映射,验证准确率达 82%,显著扩展现有灾害数据库,为城市规划、保险和应急响应提供可靠的历史基线。

    推薦理由:Groundsource 利用 Gemini 将全球新闻报道转化为结构化灾害数据,首次公开 260 万条洪水记录,覆盖 150+ 国家,显著提升灾害预测精度,为城市规划、保险和应急响应提供可靠的历史基线。