跳到正文

#推理

RSS
今日 9 則
10月12日週一
  1. Hacker News (official RSS)48

    MASS:透過集體智慧實現遞迴自我改進

    summary_zh: MASS 利用多代理自我監督機制,將團隊集體智慧蒸餾成自我監督訊號,提升研究基準上每個輸出 token 的分數。 - 核心機制:MASS 透過內部工作流程搜尋與外部自我訓練迴圈,將多代理協作成果蒸餾到共享模型。

10月11日週日
10月10日週六
  1. Hacker News (official RSS)69

    近期 AI 模型難以匹敵人類演算法創新

    InnovationEval 研究測試大型 AI 模型在端到端自動化研究中的能力,發現目前主流模型在創新發現上仍遠落後於人類研究者。 - 評估方法:以「on‑policy self‑distillation」為基準,要求模型獨立設計並實現超越 GRPO 基線的後訓練技術。

10月9日週五
  1. Microsoft ONNX Runtime Releases74

    ONNX Runtime CUDA Plugin EP 0.3.0 發布

    ONNX Runtime CUDA Plugin EP 0.3.0 正式發布,針對模型推理與硬體加速帶來多項關鍵功能更新與效能最佳化。 - 核心亮點:加入稀疏注意力機制(Sparse Attention)與打包連續批次(Packed Continuous-Batching)支援,並引進 INT2 與混合寬度 QMoE 執行、解碼核心調校及可靠性修復。

    推薦理由:微軟釋出 ONNX Runtime CUDA Plugin EP 0.3.0,加入稀疏注意力與 INT2 混合量化等效能最佳化功能,開發者可據此評估升級以提升模型推論效率。

  2. LMSYS Org Blog82

    SGLang 和 Miles 如何在 NVIDIA Vera Rubin 上加速模型推論與訓練

    新一代 GPU 換了硬體,原本的模型服務和訓練程式也得重新調整,才能把運算資源用得更好。SGLang 團隊在 NVIDIA Vera Rubin 上測試推論與訓練:他們調整注意力、專家模型和資料傳送等程式,讓 Kimi K3 在特定設定下跑得更快;例如,合併多個小步驟後,每次生成少了 276 次程式啟動,整體速度提升 5.9%。Miles 也能在這套硬體上進行強化學習訓練,包含讓 AI 助理在沙盒環境中解題。這些是初步測試,團隊接下來會擴大規模並繼續改善效能。

    推薦理由:這篇實測拆解 Vera Rubin 上的推論與訓練調整,並列出各項改動帶來的速度差異,可看出硬體資源如何影響 SGLang 的最佳化方向。

10月8日週四
10月7日週三
  1. Simon Willison12

    Mistral Large 4

    summary_zh: Mistral Large 4 在基準測試中被用來生成 SVG,與 Claude‑opus‑5.5、gpt‑6.1‑sol、gemini‑3.8‑flash 等前沿模型一起比較,顯示 benchmark 已飽和。

10月6日週二
  1. AWS Machine Learning Blog66

    Amazon Bedrock 推出 GLM 5.3

    GLM 5.3 已在 Amazon Bedrock 上提供,支援跨區推理、提示快取與完整的 OpenAI 相容 API,適用於長期編碼與代理工作流程。 - 模型規模:753B 引數,混合專家架構,針對編碼與長期代理任務最佳化。

  2. The Verge · AI65

    AI 取代數學的全盤戲劇

    本篇報導說明 OpenAI、Anthropic 等實驗室在數學領域取得突破,並引發學術界的爭議與反思。 - 突破:解決多項長期未解的數學問題,甚至包括千禧獎問題。 - 社會反應:學術界對 AI 介入數學的成果表達質疑與批評。 - 未來展望:實驗室表示將汲取經驗,與頂尖數學家合作,避免重蹈覆轍。

10月4日週日
10月3日週六