跳到正文

#推理

RSS
今日 0 則
10月14日週三
10月13日週二
10月12日週一
  1. Hacker News (official RSS)48

    MASS:透過集體智慧實現遞迴自我改進

    summary_zh: MASS 利用多代理自我監督機制,將團隊集體智慧蒸餾成自我監督訊號,提升研究基準上每個輸出 token 的分數。 - 核心機制:MASS 透過內部工作流程搜尋與外部自我訓練迴圈,將多代理協作成果蒸餾到共享模型。

10月11日週日
10月10日週六
  1. Hacker News (official RSS)69

    近期 AI 模型難以匹敵人類演算法創新

    InnovationEval 研究測試大型 AI 模型在端到端自動化研究中的能力,發現目前主流模型在創新發現上仍遠落後於人類研究者。 - 評估方法:以「on‑policy self‑distillation」為基準,要求模型獨立設計並實現超越 GRPO 基線的後訓練技術。

10月9日週五
  1. Microsoft ONNX Runtime Releases74

    ONNX Runtime CUDA Plugin EP 0.3.0 發布

    ONNX Runtime CUDA Plugin EP 0.3.0 正式發布,針對模型推理與硬體加速帶來多項關鍵功能更新與效能最佳化。 - 核心亮點:加入稀疏注意力機制(Sparse Attention)與打包連續批次(Packed Continuous-Batching)支援,並引進 INT2 與混合寬度 QMoE 執行、解碼核心調校及可靠性修復。

    推薦理由:微軟釋出 ONNX Runtime CUDA Plugin EP 0.3.0,加入稀疏注意力與 INT2 混合量化等效能最佳化功能,開發者可據此評估升級以提升模型推論效率。

  2. LMSYS Org Blog82

    SGLang 和 Miles 如何在 NVIDIA Vera Rubin 上加速模型推論與訓練

    新一代 GPU 換了硬體,原本的模型服務和訓練程式也得重新調整,才能把運算資源用得更好。SGLang 團隊在 NVIDIA Vera Rubin 上測試推論與訓練:他們調整注意力、專家模型和資料傳送等程式,讓 Kimi K3 在特定設定下跑得更快;例如,合併多個小步驟後,每次生成少了 276 次程式啟動,整體速度提升 5.9%。Miles 也能在這套硬體上進行強化學習訓練,包含讓 AI 助理在沙盒環境中解題。這些是初步測試,團隊接下來會擴大規模並繼續改善效能。

    推薦理由:這篇實測拆解 Vera Rubin 上的推論與訓練調整,並列出各項改動帶來的速度差異,可看出硬體資源如何影響 SGLang 的最佳化方向。

10月8日週四
10月7日週三
10月6日週二
  1. AWS Machine Learning Blog66

    Amazon Bedrock 推出 GLM 5.3

    GLM 5.3 已在 Amazon Bedrock 上提供,支援跨區推理、提示快取與完整的 OpenAI 相容 API,適用於長期編碼與代理工作流程。 - 模型規模:753B 引數,混合專家架構,針對編碼與長期代理任務最佳化。

10月4日週日
10月3日週六
  1. OpenAI News39

    GPT-6 系列模型使用指南

    summary_zh: 這份指南說明瞭創業公司如何選擇 GPT-6 模型、調整推理力度、改進提示與技能、協調工具並為生產準備工作流程。 - 模型選擇:提供不同 GPT-6 版本的比較,協助決定最適合業務需求的模型。

10月2日週五
  1. AWS Machine Learning Blog72

    利用 AWS 上的情境多臂賽局提升獲客漏斗轉換率

    本文說明如何在 AWS 上使用情境多臂賽局,提升獲客漏斗轉換率,並提供完整程式碼與架構示例。 - 核心成效:在七週 A/B 測試中,部分客群最終漏斗轉換率提升高單位數字,另一客群無提升。

    推薦理由:本文說明如何在 AWS 上運用情境多臂賽局提升轉換率,並提供完整程式碼與架構示例,適合想落實個性化推廣的工程師。

10月1日週四
  1. Google DeepMind72

    Gemini 4 Argon 釋出:開啟前沿智慧新時代

    Google DeepMind 推出了 Gemini 4 Argon,這是一款具備長推理、跨領域多模態能力的前沿模型。Argon 在軟體工程、金融、法律和網路安全等行業基準上重新整理記錄,並已在內部工作流中提升效率;其 1M token 輸出上限和 $2/百萬輸入、$10/百萬輸出的價格為開發者提供更高性價比。

    推薦理由:Gemini 4 Argon 通過大幅提升推理長度和多模態能力,顯著提升軟體工程、金融與網路安全等領域的工作效率,並在多項行業基準上重新整理記錄,幫助企業加速技術迭代。

9月30日週三
  1. AWS Machine Learning Blog66

    GPT-6.1 Sol 現已登陸 Amazon Bedrock

    GPT-6.1 Sol 現已在 Amazon Bedrock 上全面可用,為編碼、計算機使用和專業工作負載帶來更強的推理能力。該模型在 DeepSWE v1.1 上以約五分之一的單任務成本實現了接近 GPT-6 Astra 的表現,並在複雜文件分析和多步驟工作流上超越了 GPT-6 Sol。

9月29日週二
  1. vLLM Official Blog86

    vLLM 分離式提供實務指南:拆分預填與解碼

    本文詳述如何在 vLLM v0.31.0 或更新版本中實作分離式推論架構,將提示詞預填(prefill)、權杖生成(decode)與 CPU 端文書處理拆分執行以提升系統 goodput。

    推薦理由:本文介紹 vLLM 拆分預填與解碼的實務架構與配置方式,讀者可評估是否透過此架構改善高併發下的長提示詞延遲。

  2. AWS Machine Learning Blog62

    Grok 4.7 現已登陸 Amazon Bedrock

    xAI 的 Grok 4.7 現已在 Amazon Bedrock 上線,支援 500K 上下文視窗、四級推理努力程度配置及圖文輸入。該模型可通過 Responses、Chat Completions 和 Converse API 進行呼叫,並提供 US 區域和 Global 跨區域推理配置選項。

9月27日週日
  1. Vercel Blog52

    Ember-1(Fireworks)現已在 AI Gateway 上可用

    Ember-1 是 Fireworks 基於 Kimi K3 開發的研究預覽推理模型,現已在 AI Gateway 上提供。該模型在相同質量評估下比 Kimi K3 生成 token 少約 40%,支援 1M-token 上下文視窗、文本與影像輸入、工具呼叫以及隱式提示快取。