最新精選
第 101–109 條 · 共 109 條- Ahead of AI (Sebastian Raschka)精選品質評分6464
本文深度解析 2026 年 1 月至 2 月 期間發布的 10 款主要開源權重模型,涵蓋架構相似性、注意力機制與效率最佳化: - Arcee AI Trinity Large:採用 400B 引數的 Mixture-of-Experts(MoE)架構,結合滑動視窗注意力(SWA)與 QK-Norm 穩定訓練。
推薦理由:原文系統梳理近期十款開源模型的架構演進與效能差異,讀者可透過對比了解新型混合注意力的設計趨勢。
- Ahead of AI (Sebastian Raschka)精選品質評分6868
DeepSeek V3.2 於 2025 年 12 月 1 日正式發布,為開源大模型提供了新的稀疏注意力機制(DSA)和自我驗證的 RLVR 訓練流程。
推薦理由:透過 DeepSeek V3.2 的技術報告,說明稀疏注意力與 RLVR 自我驗證在提升開源模型效能與推理效率的關鍵技術。
Mistral AI 釋出新一代 Mistral 3 模型系列,包含 14B、8B 和 3B 的 Ministral 3 端側稠密模型,以及採用稀疏 MoE 架構、啟用引數 41B 總引數 675B 的旗艦模型 Mistral Large 3。所有模型均採用 Apache 2.0 許可證開源,支援多模態與多語言能力,推理版本也將很快推出。
推薦理由:原文釋出了包含稠密小模型與 MoE 旗艦大模型的全新模型系列,並全部採用 Apache 2.0 許可證開源,開發者和企業可直接藉此在多端與雲端部署前沿智慧能力。
- Ahead of AI (Sebastian Raschka)精選品質評分7373
本文 以從零開始的方式,說明 LLM 評估的四種主要方法,並提供完整的程式碼範例。 - 四大評估方法 多選題、驗證器、排行榜、LLM 評審。 - 實作範例 用純 PyTorch 實作 Qwen3 0.6B,並將程式碼上傳至 GitHub。
推薦理由:本文提供四種 LLM 評估方法的實作範例,幫助工程師快速選擇適合的評估策略,並瞭解各方法的優缺點與實務落地。
Mistral AI 釋出首個推理模型 Magistral,推出開源的 Magistral Small(24B)和企業級 Magistral Medium 兩個版本。
推薦理由:原文給出了兩個版本的具體效能指標與開放渠道,讀者可以據此評估其在真實業務和推理任務中的表現。
- The Gradient (AI Research Pub)精選品質評分6969
**Mamba 是一種基於 State Space Model 的長序列語言模型,能在保持 Transformer 相近表現的同時,以線性時間與空間複雜度處理多達 100 萬 token 的上下文。
推薦理由:本文以 Mamba 為例,詳細說明 State Space Model 如何在長序列上取代 Transformer,為長距離推理提供可行且高效的替代方案。
- The Gradient (AI Research Pub)精選品質評分6666
本文以例項說明機器學習模型失效的常見原因,並提供避免錯誤的實務方法。 - 資料誤導:訓練集包含重疊、錯標或隱藏變數,導致模型學習到非實際特徵,例如 COVID 影像資料中姿勢偏好。
推薦理由:本文列舉模型失效的常見原因與檢驗方法,對於想提升模型泛化能力的研究者與工程師極具參考價值,並提供實務驗證流程,協助讀者快速定位問題。
- Chip Huyen (AI Engineering)精選品質評分6767
生成設定(溫度、top‑k、top‑p 與測試時計算)是調整語言模型創造力與一致性的關鍵手段。 - 溫度:調整 logits 以改變機率分佈,0.7 常用於創意生成,0 近似 argmax 以提升一致性。
推薦理由:本文詳細說明溫度、top‑k、top‑p 等取樣引數如何影響生成結果,對想調整模型創造力與一致性的實務工程師具有直接可落地的參考價值。
- Davis Summarizes Papers精選品質評分7070
Davis Blalock 整理多篇 arXiv 研究,涵蓋梯度下降、CPU 矩陣乘法、模型訓練與影片測試時適應等主題。 - 梯度下降:研究指出,重複使用不同步長的序列,即使其中個別步長過大,也可能比固定步長帶來更好的收斂保證。
推薦理由:這份整理並列梯度下降步長、CPU 矩陣乘法與模型訓練等研究,呈現方法收益如何受實驗設定與硬體條件影響。