跳到正文

推理能力

模型推理能力的進展:思維鏈、推理模型、數學與邏輯基準的突破與爭議。

最新精選

第 101–109 條 · 共 109 條
2月25日週三
  1. Ahead of AI (Sebastian Raschka)64

    A Dream of Spring for Open-Weight LLMs:盤點 2026 年初 10 款開源大模型架構

    本文深度解析 2026 年 1 月至 2 月 期間發布的 10 款主要開源權重模型,涵蓋架構相似性、注意力機制與效率最佳化: - Arcee AI Trinity Large:採用 400B 引數的 Mixture-of-Experts(MoE)架構,結合滑動視窗注意力(SWA)與 QK-Norm 穩定訓練。

    推薦理由:原文系統梳理近期十款開源模型的架構演進與效能差異,讀者可透過對比了解新型混合注意力的設計趨勢。

12月3日週三
  1. Ahead of AI (Sebastian Raschka)68

    DeepSeek V3.2:架構、稀疏注意力與 RL 更新

    DeepSeek V3.2 於 2025 年 12 月 1 日正式發布,為開源大模型提供了新的稀疏注意力機制(DSA)和自我驗證的 RLVR 訓練流程。

    推薦理由:透過 DeepSeek V3.2 的技術報告,說明稀疏注意力與 RLVR 自我驗證在提升開源模型效能與推理效率的關鍵技術。

  2. Mistral AI83

    Mistral AI 釋出 Mistral 3 模型系列

    Mistral AI 釋出新一代 Mistral 3 模型系列,包含 14B、8B 和 3B 的 Ministral 3 端側稠密模型,以及採用稀疏 MoE 架構、啟用引數 41B 總引數 675B 的旗艦模型 Mistral Large 3。所有模型均採用 Apache 2.0 許可證開源,支援多模態與多語言能力,推理版本也將很快推出。

    推薦理由:原文釋出了包含稠密小模型與 MoE 旗艦大模型的全新模型系列,並全部採用 Apache 2.0 許可證開源,開發者和企業可直接藉此在多端與雲端部署前沿智慧能力。

10月5日週日
  1. Ahead of AI (Sebastian Raschka)73

    從零開始理解 LLM 評估的四大方法

    本文 以從零開始的方式,說明 LLM 評估的四種主要方法,並提供完整的程式碼範例。 - 四大評估方法 多選題、驗證器、排行榜、LLM 評審。 - 實作範例 用純 PyTorch 實作 Qwen3 0.6B,並將程式碼上傳至 GitHub。

    推薦理由:本文提供四種 LLM 評估方法的實作範例,幫助工程師快速選擇適合的評估策略,並瞭解各方法的優缺點與實務落地。

6月10日週二
3月28日週四
  1. The Gradient (AI Research Pub)69

    Mamba 解說:State Space Model 取代 Transformer 的長序列解法

    **Mamba 是一種基於 State Space Model 的長序列語言模型,能在保持 Transformer 相近表現的同時,以線性時間與空間複雜度處理多達 100 萬 token 的上下文。

    推薦理由:本文以 Mamba 為例,詳細說明 State Space Model 如何在長序列上取代 Transformer,為長距離推理提供可行且高效的替代方案。

2月25日週日
  1. The Gradient (AI Research Pub)66

    為什麼我的模型不工作?

    本文以例項說明機器學習模型失效的常見原因,並提供避免錯誤的實務方法。 - 資料誤導:訓練集包含重疊、錯標或隱藏變數,導致模型學習到非實際特徵,例如 COVID 影像資料中姿勢偏好。

    推薦理由:本文列舉模型失效的常見原因與檢驗方法,對於想提升模型泛化能力的研究者與工程師極具參考價值,並提供實務驗證流程,協助讀者快速定位問題。

1月16日週二
  1. Chip Huyen (AI Engineering)67

    生成設定:溫度、top‑k、top‑p 與測試時計算

    生成設定(溫度、top‑k、top‑p 與測試時計算)是調整語言模型創造力與一致性的關鍵手段。 - 溫度:調整 logits 以改變機率分佈,0.7 常用於創意生成,0 近似 argmax 以提升一致性。

    推薦理由:本文詳細說明溫度、top‑k、top‑p 等取樣引數如何影響生成結果,對想調整模型創造力與一致性的實務工程師具有直接可落地的參考價值。

7月20日週四
  1. Davis Summarizes Papers70

    arXiv 論文整理探討長步長梯度下降與高效 CPU 矩陣乘法

    Davis Blalock 整理多篇 arXiv 研究,涵蓋梯度下降、CPU 矩陣乘法、模型訓練與影片測試時適應等主題。 - 梯度下降:研究指出,重複使用不同步長的序列,即使其中個別步長過大,也可能比固定步長帶來更好的收斂保證。

    推薦理由:這份整理並列梯度下降步長、CPU 矩陣乘法與模型訓練等研究,呈現方法收益如何受實驗設定與硬體條件影響。