Amazon EKS 與 EFA、DeepEP 結合實現 MoE RL 訓練吞吐提升 40%
本文介紹瞭如何利用 Amazon EKS、EFA 與 DeepEP 在大規模 MoE RL 訓練中實現 40% 以上吞吐提升。
推薦理由：本文詳細闡述瞭如何利用 Amazon EKS、EFA 與 DeepEP 在大規模 MoE RL 訓練中實現 40% 以上吞吐提升，幫助讀者快速搭建高效、成本友好的分散式 RL 基礎設施。
#DeepSeek
RSS 訂閱#DeepSeek
RSSAWS Machine Learning Blog精選AI 評分7979
Vercel Blog精選AI 評分7777 Open-weight 模型佔 AI Gateway 56% 代幣量，Astra 兩倍 Fable 5.1 成本
Open-weight 模型 在 AI Gateway 8 月份佔據 56% 的代幣量，首次超過所有封閉模型。 - 代幣成本：平均每代幣價格較 5 個月前下降 23.2%，中位團隊每代幣支付 7.6% 更低。
推薦理由：Open-weight models已佔據主導，價格下降顯著，Astra快速滲透顯示新模型在企業生產中的高效性。
NVIDIA Blog精選AI 評分7272 NVIDIA 釋出 Vera Rubin 架構與 DSX 平臺，展示 AI 工廠能效與吞吐量提升
NVIDIA 在 AI Infra Summit 上釋出了 Vera Rubin 架構與 DSX 平臺，其中 Vera Rubin NVL72 系統在 MLPerf Inference v6.1 預覽測試中展現出顯著的吞吐量優勢。多項生態合作與基準測試顯示，新平臺通過電源最佳化和軟體協同，大幅提升了每瓦 tokens 產出與 agentic ワークロード的執行效率。
推薦理由：原文公佈了 Vera Rubin 架構在多個基準測試中的效能表現，讀者可以據此評估新一代 AI 基礎設施在能效和吞吐量上的提升幅度。
Hugging Face Blog精選AI 評分6565 智慧體究竟需要多少記憶容量：ALTK-Evolve 評測與劑量校準方法
Hugging Face 團隊釋出研究探討如何為 AI 智慧體配置自蒸餾記憶，評估了從 30B 到前沿模型的 8 款模型在 AppWorld 基準上的表現。研究發現智慧體記憶效果取決於模型能力層級：強模型適合注入完整記憶，較弱模型適合精選檢索，而已飽和模型則無明顯增益。精選檢索能在僅增加 5% token 的情況下使 gpt-oss-120b 任務完成度提升 16.1 個百分點。
推薦理由：研究表明智慧體記憶容量需要根據模型能力進行校準而非盲目堆砌，為提升準確率和控制成本提供了實踐參考。
Hugging Face Blog精選AI 評分6868 想用 ACE 嗎？ALTK-Evolve 用更少 Token 實現
Hugging Face 部落格介紹了 ALTK-Evolve 庫，該庫通過高效的記憶檢索實現與 ACE 相比更低的 Token 消耗，同時保持或提升準確率。ALTK-Evolve 與 ACE 都利用代理自身軌跡學習，但在記憶構建和交付方式上不同：ACE 採用完整的 playbook 注入，而 ALTK-Evolve 只檢索模型可用的指導原則，從而顯著降低推理 token。
推薦理由：ALTK-Evolve 在保持或提升準確率的同時，顯著降低推理 token 消耗，展示了高效記憶檢索的可行性。
Hugging Face BlogAI 評分5353 Baseten 接入 Hugging Face Inference Providers
Baseten 現已成為 Hugging Face Hub 的推理提供商，支援在模型頁面和 JS/Python 客戶端 SDK 中直接呼叫無伺服器推理服務。首批上線支援對話和文本生成任務，涵蓋 DeepSeek V4 Flash、GLM-5.2 等開源權重模型。使用者可通過自定義 API 金鑰或由 Hugging Face 路由兩種模式呼叫，並已整合至多個主流 Agent 框架中。
Hugging Face Blog精選AI 評分6868 Hugging Face 與 Cerebras 推出基於 Gemma 4 的即時語音 AI
Hugging Face 與 Cerebras 聯合推出將開源語音 AI 架構與高速推理相結合的即時語音方案，實現自然的語音到語音互動。該開源級聯語音堆疊由 Nvidia Parakeet 進行語音識別、Cerebras 執行 Google DeepMind 的 Gemma 4 31B 模型進行推理、以及 Alibaba 的 Qwen3TTS 生成語音，並已應用於 Reachy Mini 機器人。
推薦理由：原文展示了開源語音流水線如何結合硬體推理速度，讀者可以評估這種架構在低延遲互動中的表現。
Berkeley AI ResearchAI 評分4242 Adaptive Parallel Reasoning：高效推理擴充套件的下一範式
Adaptive Parallel Reasoning 提出讓模型自行決定何時並行拆分、執行緒數量和協調方式，以提升推理效率。ThreadWeaver、ParaThinker、GroupThink、Hogwild! Inference 等方法已實現多執行緒並行推理，減少上下文旋轉和推理延遲。此範式可在數學、編碼和代理任務中顯著降低推理時間，避免上下文旋轉問題。