Modal 推出地理分佈 I/O 平面,將無伺服器函式呼叫延遲逼近網路傳輸速度
Modal 推出全新地理分佈 I/O 平面,將無伺服器函式呼叫延遲下降約 80 ms,並支援 routing_region 旗標以選擇最適地區。
Modal 推出全新地理分佈 I/O 平面,將無伺服器函式呼叫延遲下降約 80 ms,並支援 routing_region 旗標以選擇最適地區。
OpenRouter 推出全新的 Ori Harness 命令列工具,讓使用者透過簡單的指令快速安裝與登入,即可自動獲得針對 OpenRouter 最佳化的配置,無須再手動設定複雜的環境變數。
Python 3.15.0rc1 已正式發布,為 3.15 系列的首個候選版。 - 主要新功能:PEP 810 明確延遲載入、PEP 814 新增 frozendict、PEP 799 Tachyon 高頻統計抽樣分析器、PEP 686 UTF‑8 預設編碼等。
推薦理由:Python 3.15 先行預覽帶來 8-9% 效能提升與多項新功能,開發者可提前測試並為正式版做準備。
Microsoft Research 推出了開源的可擴充套件AI 助理框架 Orchard,其核心是提供可重用環境服務的 Kubernetes 架構 Orchard Env,支援在真實部署 harnesses 中直接訓練AI 助理。專案同步開源了三個領域的訓練方案與資料,其中 Orchard-SWE 在 SWE-bench Verified 上取得了 69.7% 的表現。
推薦理由:微軟研究院開源了可擴充套件AI 助理框架 Orchard,並提供覆蓋軟體工程、網頁瀏覽和個人助理的完整訓練方案,降低了AI 助理研究的基建門檻。
訓練推測解碼模型時,目標模型推論和草稿模型訓練會搶資源,也不容易分開調整。SpecForge v0.3.0 把兩種工作拆成可各自擴充的流程,並用同一套訓練工具支援 EAGLE3、DFlash、Domino 等多種方法;團隊也發布了涵蓋不同模型與方法的草稿模型。在 8×H20 測試中,3 臺 SGLang 伺服器搭配 5 個訓練工作者,訓練吞吐量比舊的集中式做法約高 10%。這讓團隊能依工作需求調整推論和訓練資源。
推薦理由:SpecForge 把目標模型推論和草稿模型訓練拆開,並以 8×H20 測試呈現調整兩邊資源配置後的訓練吞吐量變化。
summary_zh: Wiz 於 2026 年推出 Wiz Sensor,為 Windows 與 macOS 開發者工作站提供連續視覺化、即時偵測與自動回應,抵禦 AI 時代的供應鏈攻擊。
Ori Eval 是 OpenRouter 推出的自動化模型評估工具,能在你自己的程式碼與提示上跑測試,快速找出最適合專案的模型。 - 工作流程:由 Ori 代理掃描程式碼,詢問你重視的指標(成本、速度、準確度等),自動產生 .eval.ts 測試檔並在 CI 或 GitHub Actions 執行。
推薦理由:Ori Eval 提供自動化模型評估,幫助團隊快速定位最佳模型並持續跟蹤更新,降低手工評測成本;其簡易整合方式讓開發者可即時驗證模型變化,提升開發效率與產品品質。
Together AI 釋出全新 LLM 推理端點自動擴容功能,讓部署可依實際負載自動調節 GPU 資源。 - 核心特性:支援多種度量(如 in-flight requests、TTFT、GPU utilisation、token throughput)自動擴容,並可設定上限、下限及調整視窗。
Wiz 於 2026 年推出 Agentic 程式碼安全系統,結合多層 AI 與傳統掃描,提供持續、可擴充套件的程式碼安全解決方案。 - Atlas:在 CyberGym 上 90.8% 成功率,發現 200+ 先前未知漏洞。
DeepMind 釋出 Gemini Robotics ER 2,作為其最新的“具身推理”模型,支援持續影片理解、任務編排和多機器人協作。該模型可與任何低層 VLA 模型配合,即時呼叫工具(如 Google Search),並在執行過程中保持推理,顯著提升任務完成率和安全性。
推薦理由:Gemini Robotics ER 2 通過影片理解和多機器人協作提升機器人任務完成率,展示了高效即時推理與安全控制的結合。
Google DeepMind 在 Google Flow Music 上釋出了最新音樂生成模型 Lyria 3.5。該模型在旋律結構、歌詞質量、聲樂表現和發音方面都有顯著提升,並新增了對節奏和時長的細粒度控制,幫助使用者更輕鬆地創作符合預期的歌曲。
團隊想在 GPU 和 TPU 之間更換硬體時,常得改用不同工具或重做部署。RadixArk 和 Google Cloud 合作,讓開源推論框架 SGLang 能在 Google TPU 上執行:目前可透過 SGL-JAX 使用,支援多種大型語言模型、多模態模型和影像及影片生成模型;RadixArk 也預計在今年稍晚推出以 PyTorch 為基礎的 SGL-torchtpu。團隊可以沿用同一套 SGLang API,依工作需求和價格效能選擇 GPU 或 TPU。
推薦理由:SGLang 已可透過 SGL-JAX 在 TPU 上執行,後續還會加入 PyTorch 原生後端,讓團隊沿用相同 API 跨硬體部署。
OpenRouter 正式推出 LangChain 專用套件 langchain-openrouter(Python)與 @langchain/openrouter(TypeScript),提供原生整合與自動跨供應商故障轉移能力。
DeepMind 在部落格中釋出 Gemini Robotics 2,推出三款模型:Gemini Robotics 2(全身視覺‑語言‑動作模型)、Gemini Robotics ER 2(具身推理模型)和 Gemini Robotics On‑Device 2(高效本地化模型)。
推薦理由:Gemini Robotics 2 通過全身控制、精細操作和多機器人協作,展示了在複雜任務中的智慧執行能力,並能在數小時內適配新機器人身體。
vLLM 於官方部落格公佈 Speculators 平行草稿技術,將單令牌生成提升至多令牌一次性並行,顯著加速推理。 - 核心特性:三種平行草稿演算法 P-EAGLE、DFlash、DSpark,支援完整開源並可直接在 vLLM 中配置。
推薦理由:此篇介紹 vLLM 透過平行草稿提升推理速度,讀者可參考其開源實作與配置,評估對現有工作流程的效益。
Kimi K3 是 Moonshot 推出的 2.8T 引數多模態模型,擁有 1M token 上下文視窗與原生視覺功能,Modal 於發布當日即以 460 tokens/秒的速度執行。
推薦理由:Kimi K3 以 3T 引數與 1M token 上下文,結合高效推理與自動化推測,讓使用者能在 Modal 以 token 基本定價即時部署前沿多模態模型。
OpenRouter 釋出圖片生成教學與 API 整合指南,詳細說明如何選擇圖片生成模型、檢查引數支援以及排查常見錯誤。 - 模型選擇邏輯:建議依據工作任務(如文生圖、圖生圖、向量輸出、可讀文字)、引數支援與價格來挑選模型。
Kimi K3 的混合架構讓伺服器得同時管理兩種記憶,一種會隨文字增加,另一種則固定大小並持續更新,原有做法不容易直接套用。SGLang 團隊與 Moonshot AI、NVIDIA 合作,讓 SGLang 支援 Kimi K3 推論,Miles 支援強化學習訓練。SGLang 加入共用記憶體池,讓兩種記憶按需求共用空間,也用重播輸入資料的方式減少暫存記憶體。文章也提供平行處理設定與訓練成績:AIME-2024 的答題率在 12 小時內從 43.3% 升到 76.7%。
推薦理由:Kimi K3 同時採用兩種注意力方式,讓伺服器得分別管理固定狀態與逐字增加的記憶;文章說明 SGLang 如何處理這項難題。
SGLang v0.5.16 釋出 DSpark 及 Inkling 多模態支援,並最佳化多項推理效能與模型管理。 - DSpark:自信度驅動的 speculative decoding,單位 5 accept length 在 DeepSeek‑V4‑Pro 上達 383.7 tok/s,TP8 on B300 5.0 tok/s。
OpenRouter 正式推出 Classifiers 功能(目前處於 beta 階段),讓使用者能夠為 AI 世代自動加上結構化中繼資料,藉此追蹤代理行為、使用模型與成本分佈。
Supabase 推出一鍵連線 Grafana Cloud 的觀測性整合,使用者可在儀錶板即時獲得完整監控功能。 - 即時配置:單擊即可建立已設定認證、指標抓取及預建儀錶板的 Grafana Cloud 實例。
平臺定位:Together Dedicated Model Inference 讓企業可在單一服務上完成模型上傳、部署、監控與迭代,支援開源、授權及微調模型。
Hugging Face 釋出了對 Nunchaku 4 位元擴散推理的原生支援,允許使用者通過標準 from_pretrained 方法直接載入量化檢查點,無需本地 CUDA 編譯。
summary_zh: 今天,Cognition 歡迎來自加州的 The Interaction Company(Poke 的創造者)加入其平臺。 - 核心特性:Poke 是一個個人代理,能在文字訊息中先行發訊、跟進對話,使用者已在三個月內與其交換超過 1 億 條訊息。
OpenRouter 正式推出全新語音轉文字端點 POST /api/v1/audio/transcriptions,讓開發者能使用與 Chat Completions 相同的 API 金鑰與身分驗證來處理語音轉文字任務。
Supabase Pipelines 進入公測,首次支援 BigQuery 與自動 schema 同步,讓 Postgres 資料即時遷移至分析倉儲,適合低延遲同步需求。
Hugging Face 推出開源、低成本的機器人運算元據採集系統 Grabette,允許使用者通過手持夾爪和相機快速錄製任務並自動生成機器人就緒的資料集。該系統包含手持錄製裝置 Grabette 與配套的機器人夾爪端側執行器 Gripette,採用模組化標準感測器構建,並已接入 Hugging Face Hub 與 LeRobot 訓練生態。
Devin Outposts 於 Modal Sandbox 上啟動,允許開發者在自訂環境中執行 AI 軟體工程師 Devin。 - 功能:自動啟動 GPU 供應,支援自訂映像、快冷啟、快照與彈性擴縮。
Python 3.15.0 beta 4 已正式釋出,包含 298 筆錯誤修正、構建改進與檔案更新。
學生模型可以學會教師模型的回答方式,但訓練時如果只靠任務獎勵,不一定能教會它用更短的推理完成工作。LMSYS Org 為 Miles 加入 OPD,讓學生模型能只跟著教師模型學,也能把教師指引和任務獎勵一起用;新的稀疏評分流程只請教師模型評分各位置需要的候選 token,減少多餘資料的傳送與解析。在千問 Qwen3.5-35B-A3B 的自我蒸餾實驗中,任務獎勵設為零,學生模型的回答長度從約 18.6k tokens 降至多數約 5.5k–6.7k tokens,保留的 DAPO 表現也從 0.8457 升至 0.8945。這是初步驗證,其他模型和任務仍待測試。
推薦理由:Miles 的稀疏評分流程減少教師模型不必要的資料傳送與解析,實驗也呈現縮短推理與維持任務表現的結果。
Axolotl 正式發布 v0.18.0 版本,聚焦於降低超大型稀疏 MoE 模型的微調成本並強化底層核心效能。 - 核心更新:新增 NVFP4 與 SonicMoE 4-bit 專家 LoRA 支援,大幅降低長上下文下的 VRAM 消耗;支援 GLM-5.2 與 Gemma 4 等新模型微調。
summary_zh: Replit 透過內部 Agent 系統,將自動駕駛型公司概念落實於實際工作,導致程式碼產出提升 5.8 X、每位工程師產出提升 2.9 x、人工 PR 審查時間節省 30 %。
Rust 1.97.1 版修正 LLVM 最佳化誤編譯,回滾 rustc 變更並升級 LLVM 子模組。 - 核心修正:回滾 rustc 觸發誤編譯的變更,並回滾 LLVM 子模組以包含修正。 - 安全性:rustc 變更回滾雖非必須,但作為預防措施已執行。 - 版本影響:此更新針對 Rust 1.97.1 版,提升編譯穩定性。
Supabase 的 Unified Logs 進入開放測試版,將 API Gateway、Postgres、Auth、Storage、PostgREST、Realtime 等服務的日誌集中於一個可搜尋的檢視。
Modal 重新設計沙盒平臺,突破傳統容器限制,實現每秒建立數萬沙盒,百萬並發沙盒僅需不到 1 分鐘。 架構亮點:去中心化排程器、每個工作節點即為資料來源,所有排程邏輯在 Redis 快取上完成,消除單點瓶頸。 效能指標:平均沙盒啟動時間 < 0.5 秒,無明顯擴容上限,已在 Beta 版本上提供。
推薦理由:Modal 的新沙盒平臺突破傳統容器限制,允許每秒建立數萬沙盒,對需要大規模 RL 或代理運算的開發者極具價值。
OpenRouter 宣佈支援透過單一 OpenAI 相容的基礎網址與金鑰,呼叫文字、影像生成、影片生成、語音、嵌入向量與語音轉文字等 5 種模態。 - 端點架構:多數輸入模態透過 /chat/completions 搭配不同內容型態處理,而影像生成、影片生成、文字轉語音、語音轉文字與嵌入向量則使用各自的專屬端點。
summary_zh: Deno 釋出了 v2.9.3 版本,新增多項功能並修復多個核心與網路模組錯誤。 - CLI:新增 deno add --no-save、--save-optional 以及 --min-dep-age 別名,方便依賴管理。
Together AI 發布 GPU 叢集全新功能,提升可靠性與操作控制。 - 平臺健康:新增被動健康檢查、節點自動修復與 Slinky 1.0,能即時偵測 GPU 斷線、Xid 錯誤、熱節流等失效模式,並自動建議修復動作。
Hugging Face 釋出了 Real World VoiceEQ,一個評估語音 AI 人類質量的基準,涵蓋 60 多項指標,覆蓋 40 多個模型。該基準基於 100 萬條人類評分,評估 15+ 維度的 ASR、TTS、S2S 和 Speech Understanding,幫助開發者識別情感、背景噪聲等細粒度缺陷。
推薦理由:Real World VoiceEQ 提供了超過 60 項指標的真實人類評估,幫助開發者識別模型在情感、背景噪聲等方面的細粒度缺陷。
新模型架構常讓推論和訓練工具得花時間才能跟上。SGLang 和 Miles 在 Inkling 推出時就加入支援,並為它的短卷積、相對位置注意力和共享專家設計調整執行方式。Inkling 最長可處理 1M 個 token;在 NVIDIA Blackwell GPU 上,SGLang 的輸入處理速度最高達每秒 71.7k 個 token,單一使用者生成速度最高為每秒 171.0 個 token。Miles 也支援文字與影像任務的強化學習訓練,並用路由重播等方法讓訓練和推論的計算保持一致。
推薦理由:文章對照 Inkling 的注意力與 MoE 設計,說明 SGLang 如何調整推論流程,也呈現 Miles 如何讓訓練和推論使用一致的模型行為。
最多提供 50 頁,更早的內容請使用搜尋或主題頁。