SpaceXAI 的 Grok 4.7 在 Amazon Bedrock 上推出,支援長時間推理與自檢
Grok 4.7 由 SpaceXAI 推出,現在可在 Amazon Bedrock 上使用,支援更長時間的推理與自檢功能。 - 平臺:Amazon Bedrock,提供多家模型供應商選擇。
Grok 4.7 由 SpaceXAI 推出,現在可在 Amazon Bedrock 上使用,支援更長時間的推理與自檢功能。 - 平臺:Amazon Bedrock,提供多家模型供應商選擇。
本文說明在 Amazon SageMaker AI 上,如何透過 Hopper GPU 的 kernel 工程最佳化,提升 Mixture‑of‑Experts(MoE)模型的吞吐量與回應速度。
推薦理由:本文說明在 Hopper GPU 上對 MoE 核心進行工程最佳化,可提升 10% 以上吞吐量與 9% TTFT,並提供可直接套用的 vLLM 改進。
Anthropic 在其最新研究中,提出多層防禦機制,將 Claude 模型遭受蒸餾攻擊的資料獲取量降低 90% 至 99%。 - 防禦機制:引入「保留思考」與兩階段分類器,阻斷代理網路與重複抽取。
summary_zh: MASS 利用多代理自我監督機制,將團隊集體智慧蒸餾成自我監督訊號,提升研究基準上每個輸出 token 的分數。 - 核心機制:MASS 透過內部工作流程搜尋與外部自我訓練迴圈,將多代理協作成果蒸餾到共享模型。
僅 10 分鐘使用 AI 就能顯著削弱人們對困難任務的持續力,UC Berkeley 團隊的研究在 Language Modeling Conference 上公佈。
InnovationEval 研究測試大型 AI 模型在端到端自動化研究中的能力,發現目前主流模型在創新發現上仍遠落後於人類研究者。 - 評估方法:以「on‑policy self‑distillation」為基準,要求模型獨立設計並實現超越 GRPO 基線的後訓練技術。
數學界對 OpenAI 於 10 月 6 日公佈的 100+ 數學問題解決公告,發表了大量個人反應。 - 公告內容:OpenAI 宣佈對 4000 個開放問題中約 700 個取得進展,並公開 100+ 具體解答。
ONNX Runtime CUDA Plugin EP 0.3.0 正式發布,針對模型推理與硬體加速帶來多項關鍵功能更新與效能最佳化。 - 核心亮點:加入稀疏注意力機制(Sparse Attention)與打包連續批次(Packed Continuous-Batching)支援,並引進 INT2 與混合寬度 QMoE 執行、解碼核心調校及可靠性修復。
推薦理由:微軟釋出 ONNX Runtime CUDA Plugin EP 0.3.0,加入稀疏注意力與 INT2 混合量化等效能最佳化功能,開發者可據此評估升級以提升模型推論效率。
ONNX Runtime CUDA Plugin EP 0.2.0 版本正式發布,與 ONNX Runtime 1.30.0 版本相匹配,帶來擴充套件的量化推論與注意力支援、核心效能提升及可靠性修復。
Step 5 Preview 是 StepFun 推出的 1M 上下文視窗稀疏 Mixture‑of‑Experts 模型,已於 OpenRouter 上線。
新一代 GPU 換了硬體,原本的模型服務和訓練程式也得重新調整,才能把運算資源用得更好。SGLang 團隊在 NVIDIA Vera Rubin 上測試推論與訓練:他們調整注意力、專家模型和資料傳送等程式,讓 Kimi K3 在特定設定下跑得更快;例如,合併多個小步驟後,每次生成少了 276 次程式啟動,整體速度提升 5.9%。Miles 也能在這套硬體上進行強化學習訓練,包含讓 AI 助理在沙盒環境中解題。這些是初步測試,團隊接下來會擴大規模並繼續改善效能。
推薦理由:這篇實測拆解 Vera Rubin 上的推論與訓練調整,並列出各項改動帶來的速度差異,可看出硬體資源如何影響 SGLang 的最佳化方向。
summary_zh: Google Gemini Notebook AI 在三個月實驗中,對專利撰寫律師的工作表現產生了顯著提升,但對初級律師的長期專業判斷影響有限。
Glyph Cluster 於 AI Gateway 以免費試用方式提供,支援編碼推理、功能呼叫與多步驟分析。 - 功能:可審查程式碼、解釋失敗、除錯、提出改動,並透過 function calling 與自訂工具連結。
summary_zh: OpenAI 宣佈的 Navier–Stokes 方程自然語言證明被 AI 系統翻譯成 Lean,結果發現形式化證明與原證明不符,顯示 AI 自動形式化在語義保真上存在嚴重問題。
Jev 驅動的 SRE 診斷流程在 21 個 SREGym‑Lite 故障中達到 76.2% 的通過率。 - 診斷時間:平均 14.6 秒,單次呼叫 2.4 次 Jev API,平均延遲 0.53 秒。
Falcon-Emirati-7B 是基於 Falcon-H1-Arabic 的 7B 引數模型,專門針對阿聯酋阿拉伯語方言進行調校。\n- 核心特性:使用 Mamba 與 Transformer 混合架構,支援 128K/256K token 上下文。
GLM 5.3 已在 Amazon Bedrock 上提供,支援跨區推理、提示快取與完整的 OpenAI 相容 API,適用於長期編碼與代理工作流程。 - 模型規模:753B 引數,混合專家架構,針對編碼與長期代理任務最佳化。
Beam 是 Reflection 推出的首個 501B 引數、稀疏 MoE 開源權重模型,專為編碼、推理與代理任務設計。 - 引數規模:總 501B,活躍 23B,採用稀疏 MoE 架構。
這篇指南說明瞭如何在 Claude 與 Claude Code 中使用 Opus 5.5,並提供實用的提示與設定。 - 核心功能:Opus 5.5 可長時間執行、先行思考、明確回報工作進度。
核心事件:Aleph Alpha 發布 Kolibri,一款擁有 78B 引數、1M 上下文長度的英德雙語 Mixture‑of‑Experts 模型,並以 Apache 2.0 授權公開完整權重,方便企業在本地化與合規環境中部署。
Kolibri 是 Aleph Alpha 於 2026 年 10 月 3 日發布的開源多語言 LLM,擁有 78.1 B 引數,單個 token 只活躍約 3.46 B,支援德語與英語,並可在 1 M token 上下文中執行。
summary_zh: 團隊在一個月內專注於 GLM 5.3 Flash,雖然首半月順利,但後半月因 1B tokens 分配到其他模型及基礎設施問題,導致成本與能源使用超標。
summary_zh: OpenRouter 於 2026‑10‑02 推出 Model Router Benchmarks 頁面,讓使用者可比較 Auto Router、Free Models Router 等路由器在品質、速度與成本上的表現。
summary_zh: 數學界因 AI 在數學領域的快速突破而陷入悲痛與不安。 - 情緒階段:數學家在否認、憤怒、談判、沮喪等五個階段中表達對 AI 影響的擔憂。
summary_zh: 這份指南說明瞭創業公司如何選擇 GPT-6 模型、調整推理力度、改進提示與技能、協調工具並為生產準備工作流程。 - 模型選擇:提供不同 GPT-6 版本的比較,協助決定最適合業務需求的模型。
NVIDIA GPU 使 OpenAI GPT‑6 Astra Ultrafast 速度提升 8 倍,現已在 API 及 ChatGPT Work 和 Codex 使用者中提供。
AMD 與 DigitalOcean 及 Character.ai 合作,將推理吞吐量翻倍、成本降至一半。 吞吐量:翻倍 成本:下降 50% 影響:同等計算資源下可提供更先進模型,擴充套件性提升
本文說明如何在 AWS 上使用情境多臂賽局,提升獲客漏斗轉換率,並提供完整程式碼與架構示例。 - 核心成效:在七週 A/B 測試中,部分客群最終漏斗轉換率提升高單位數字,另一客群無提升。
推薦理由:本文說明如何在 AWS 上運用情境多臂賽局提升轉換率,並提供完整程式碼與架構示例,適合想落實個性化推廣的工程師。
導語:uniopen 透過 LoRA 微調與提示最佳化,將 Amazon Nova 2 Lite 定製為符合其零售審核政策的模型,並在生產環境中落地。
Clef 是 Cloudflare 釋出的決策模型,具備視覺輸入、64k 上下文、低延遲,並可在 Workers AI 上即時使用。 - 核心特性:可處理文字與影像,使用 Qwen3.8‑27B 基座,輸出決策機率,並與 Jev‑API 完全相容。
Amazon Science 發布了一篇關於基於圖結構的代理式AI 助理,利用圖分析與 AI 代理自動進行網路根因分析的研究。 - 核心技術:結合數位孿生、圖神經網路、階層式圖演算法與代理式執行,形成三階段的圖分析管道。
summary_zh: Anthropic Mythos 模型展現驚人數學推導能力,成功逆向攻破 HFS 漏洞;同時 EDG C++ 編譯器前端正式開源。 - 核心特性:Anthropic Mythos 能進行高階數學推導,利用此能力逆向攻破 HFS 漏洞。
Google DeepMind 推出了 Gemini 4 Argon,這是一款具備長推理、跨領域多模態能力的前沿模型。Argon 在軟體工程、金融、法律和網路安全等行業基準上重新整理記錄,並已在內部工作流中提升效率;其 1M token 輸出上限和 $2/百萬輸入、$10/百萬輸出的價格為開發者提供更高性價比。
推薦理由:Gemini 4 Argon 通過大幅提升推理長度和多模態能力,顯著提升軟體工程、金融與網路安全等領域的工作效率,並在多項行業基準上重新整理記錄,幫助企業加速技術迭代。
Amazon Bedrock 在印度推出 Claude Opus 5、Claude Sonnet 5 和 Claude Haiku 4.5 的境內推理支援,允許客戶通過孟買和海得拉巴區域處理本地資料。該功能採用地理跨區域推理,在 ap-south-1 和 ap-south-2 之間路由請求,以滿足資料本地化合規需求。
Ling 3.1 Flash 是 InclusionAI 推出的混合推理語言模型,現已在 AI Gateway 上免費使用至 2026 年 10 月 13 日。
GPT-6.1 Sol 現已在 Amazon Bedrock 上全面可用,為編碼、計算機使用和專業工作負載帶來更強的推理能力。該模型在 DeepSWE v1.1 上以約五分之一的單任務成本實現了接近 GPT-6 Astra 的表現,並在複雜文件分析和多步驟工作流上超越了 GPT-6 Sol。
summary_zh: Microsoft Research 介紹了 Quine,一個設計為應對生物學複雜性的 AI 研究系統。 - 核心功能:結合多模態生物學世界模型與互動式 harness,將模型、科學工具、文獻、實驗室與研究人員連結。
本文詳述如何在 vLLM v0.31.0 或更新版本中實作分離式推論架構,將提示詞預填(prefill)、權杖生成(decode)與 CPU 端文書處理拆分執行以提升系統 goodput。
推薦理由:本文介紹 vLLM 拆分預填與解碼的實務架構與配置方式,讀者可評估是否透過此架構改善高併發下的長提示詞延遲。
xAI 的 Grok 4.7 現已在 Amazon Bedrock 上線,支援 500K 上下文視窗、四級推理努力程度配置及圖文輸入。該模型可通過 Responses、Chat Completions 和 Converse API 進行呼叫,並提供 US 區域和 Global 跨區域推理配置選項。
Ember-1 是 Fireworks 基於 Kimi K3 開發的研究預覽推理模型,現已在 AI Gateway 上提供。該模型在相同質量評估下比 Kimi K3 生成 token 少約 40%,支援 1M-token 上下文視窗、文本與影像輸入、工具呼叫以及隱式提示快取。