如何在 SageMaker AI 上使用 vLLM-Omni 生成影像和影片(第二部分)
本文介紹瞭如何在 Amazon SageMaker AI 上使用 vLLM-Omni Deep Learning Container 部署 FLUX.2-klein-4B 即時影像生成端點與 Wan2.1-VACE-1.3B 非同步影片生成端點。工作流通過傳送文本提示詞生成靜態影像,隨後將其作為條件輸入並結合運動提示詞傳輸至影片端點,最終從 Amazon S3 獲取生成的 MP4 影片。
本文介紹瞭如何在 Amazon SageMaker AI 上使用 vLLM-Omni Deep Learning Container 部署 FLUX.2-klein-4B 即時影像生成端點與 Wan2.1-VACE-1.3B 非同步影片生成端點。工作流通過傳送文本提示詞生成靜態影像,隨後將其作為條件輸入並結合運動提示詞傳輸至影片端點,最終從 Amazon S3 獲取生成的 MP4 影片。
NVIDIA 釋出開源表格基礎模型 Kumo Tabular,採用 Transformer 架構,無需訓練、調參或特徵工程即可在單次前向傳播中完成分類與迴歸預測。該模型提供 28M 到 215M 三種引數規模,完全基於人工合成數據進行預訓練,並在 TabArena、BeyondArena、TALENT 和 ScoringBench 四個基準測試中排名第一。
推薦理由:該模型不經微調即可直接預測表格資料,讀者可以據此評估它在企業級結構化資料預測任務中的應用潛力。
Cloudflare 推出 Vinext 1.0,幫助開發者將 Next.js 應用遷移到 Vite,並在 Cloudflare Workers、Netlify、AWS Lambda 等平臺部署。新版相容率超過 99%,支援 App Router 與 Pages Router、ISR、快取、觀察等功能,並提供自動化測試與社群驅動的持續改進。
推薦理由:Vinext 1.0 讓 Next.js 應用可在 Cloudflare Workers、Netlify、AWS Lambda 等多平臺部署,相容率已超過 99%,並提供統一快取、觀察與自動化測試,幫助高流量動態網站實現穩定可靠的執行。
本文介紹瞭如何利用 Amazon EKS、EFA 與 DeepEP 在大規模 MoE RL 訓練中實現 40% 以上吞吐提升。
推薦理由:本文詳細闡述瞭如何利用 Amazon EKS、EFA 與 DeepEP 在大規模 MoE RL 訓練中實現 40% 以上吞吐提升,幫助讀者快速搭建高效、成本友好的分散式 RL 基礎設施。
本文介紹瞭如何在 Amazon SageMaker HyperPod 上使用開源強化學習框架 SkyRL,配合 GRPO 演算法對 Qwen3-VL-8B 視覺語言模型進行多模態強化學習後訓練。
GitHub Security Lab 推出了基於 Taskflow Agent 的自動化 fuzzing 管道,能夠自主分析 C/C++ 專案、編寫 harness、執行 AFL++ 並生成漏洞報告。該工具採用 agent 負責決策、MCP 工具負責執行的設計,通過覆蓋率反饋迴圈和動態字典生成來提升測試效率。
推薦理由:文章介紹了開源自主 fuzzing 管道的具體架構和執行邏輯,讀者可以藉此瞭解如何利用智慧體自動化完成程式碼覆蓋率分析和漏洞排查。
Liquid AI 針對視覺語言模型 LFM2.5-VL-3B 釋出了實驗性的 DSpark 草稿模型,通過引入投機解碼路徑實現推理加速。該草稿模型包含 2.8 億引數(增量 8.9%),在端側和 GPU 上解碼速度最高可提升 3.13 倍,並且首日即整合支援 llama.cpp、MLX-VLM 和 SGLang。
OpenAI推出MentalHealthBench,一個多語言、多情境的心理健康對話評測基準。該基準由80多名全球心理健康專家共同制定,覆蓋從日常對話到危機情境的多種場景,並提供專家評估標準和自動化評分工具。
推薦理由:OpenAI釋出MentalHealthBench,提供多語言、多情境的心理健康評測基準,幫助研究者評估模型安全性與實用性。
NVIDIA 釋出 Isaac ROS 5.0,這是一個基於 ROS 的 GPU 加速軟體包集合,旨在幫助人類與 AI 智慧體共同構建機器人。新版本引入了全新的智慧體工作流、對 ROS Lyrical 和 Ubuntu 24.04 的支援,以及用於設定和操縱的 NVIDIA Isaac 技能。
推薦理由:該版本引入了面向智慧體的工作流和新平臺支援,為開發者構建物理AI機器人應用提供了GPU加速能力。
Hugging Face 的 transformers 庫新增對 GGUF 模型的支援,允許使用者通過熟悉的 API 在本地高效載入和執行量化模型。該整合通過複用 ggml 的 Metal 核心並在 Apple Silicon 上最佳化生成迴圈,使 transformers 能夠直接執行諸如 Qwen3.5 等架構的量化權重。
推薦理由:原文介紹了 transformers 對 GGUF 模型的支援及底層最佳化,讀者可以瞭解如何在熟悉的介面中直接載入和執行本地量化模型。
oMLX 創作者兼維護者 Jun Kim 加入 Hugging Face 以支援 MLX 社群,oMLX 將保持 Apache 2.0 開源協議並繼續由其主導。此舉旨在為 oMLX 提供穩定性和更快的開發節奏,使其作為測試新想法的試驗檯,同時簡化 transformers 模型到 MLX 實現的轉換流程。
NVIDIA 推出 NVIDIA DSX Ready 資質認證計劃,旨在幫助合作伙伴的產品滿足 NVIDIA DSX AI 工廠參考設計要求。該計劃首發涵蓋電池儲能系統與冷卻分發單元兩類,首批入選的供應商包括 Hitachi Energy、LG Energy Solution、Tesla、LG Electronics、LiquidStack 和 Vertiv。
微軟研究團隊釋出 RetroChimera,一種用於大規模小分子合成預測的框架,並在 Nature 論文中展示其效能。RetroChimera 結合 R‑SMILES 2 與 NeuralLoc 兩種模型,通過學習式重排序實現更準確的合成路線預測。其開源實現已在 GitHub 上釋出,旨在加速藥物與材料研發。
推薦理由:RetroChimera 通過融合兩種模型提升化學合成預測,公開原始碼可加速藥物與材料研發。
NVIDIA 釋出文章指出 AI 安全本質上是一個工程問題,並從智慧體棧的全棧防護、可執行邊界、測試驗證及開源協作等方面闡述了應對策略。文章介紹了 NVIDIA OpenShell 等開源執行時及合作伙伴的安全工具,強調企業需要通過明確的策略、獨立沙箱和可追溯的身份憑證來保障智慧體在複雜環境下的執行安全。
推薦理由:文章探討了智慧體棧各層的安全治理原則與開源實踐,讀者可以據此瞭解企業在多層架構中部署智慧體時的安全邊界與防護方案。
Hugging Face 釋出了 tokenizers v1 候選版本,在完全保持原有輸出、API、詞表與合併規則的前提下,通過工作空間拆分、bitcannon SIMD 分割、word cache 快取、零分配合並迴圈及原生並行等最佳化,使編碼速度較 v0.23 提升 3 到 30 倍。
推薦理由:官方釋出了 tokenizers v1 候選版本,通過架構重構與底層最佳化大幅提升了編碼與解碼速度,為高併發與大規模訓練場景減少了效能瓶頸。
Google Research 介紹了 MilleMiglia,這是一個旨在為中長途物流配送問題建立現實基準的 C++ 例項生成器。該工具通過結合空間分佈、需求和車輛排程等統計模型,生成隱私安全且符合實際的物流網路資料。相關原始碼與文件已在 GitHub 開源,以推動運籌學與供應鏈最佳化領域的後續研究。
GitHub 團隊宣佈將 GitHub Copilot 執行時(包括 CLI、應用和 SDK 的核心底層)從 TypeScript 完全重寫為 Rust。此次重寫歷時約 14 周半,包含超過 80 萬行生產級 Rust 程式碼,主要由 AI 智慧體協助單名開發者通過 128 個 PR 以增量方式逐步推進,使執行時效能提升了數個數量級。
推薦理由:文章詳細記錄了使用 AI 智慧體將大規模執行時重寫為 Rust 的全過程,為開發者提供了極具價值的大型工程遷移實操參考。
summary_zh: - **Featured 的使用者每月透過 Vercel 傳送超過 100,000 筆媒體投遞,並在一年內傳送超過 1 億封 Help A Reporter Out (HARO) 電子郵件。
Graidio 團隊釋出了 Workflow1111,這是一個基於 Gradio Workflow 重構 AUTOMATIC1111 功能集的單工作流畫布,包含由 73 個節點和 11 條媒體管線組成的圖表。
推薦理由:文章展示瞭如何用視覺化節點把多個媒體管線組合在一起,並自動生成介面和協議,為開發者搭建複雜多模態應用提供了新方案。
Mistral AI 近日完成 30 億歐元 Series D 融資,後市估值逾 210 億歐元,創歐洲科技公司最大融資紀錄。融資由三星電子領投,Scaleup Europe Fund、PSG Equity 等跟投,資金將用於擴充套件前沿研究、提升訓練算力、加速商業化與國際佈局。Mistral 目前已在 20 個國家運營,支援 125 家全球企業的關鍵 AI 轉型。
推薦理由:Mistral 通過 30 億歐元融資,進一步加速其全棧開放權重 AI 的研發與商業化,凸顯企業對自主 AI 解決方案的需求增長。
Hugging Face 團隊推出了 NeoMME,這是一個包含 260M 和 800M 引數的多語言多模態基礎編碼器系列。該模型不使用單獨的視覺塔或因果語言模型,而是通過單個雙向 Transformer 同時處理文本 token 和原始影像塊。
推薦理由:原文釋出了不依賴獨立視覺塔的多模態雙向編碼器,讀者可以瞭解其單塔架構和檢索效能。
作者基於開源方案復現了讓大語言模型通過編寫 JavaScript 程式碼繪製水彩畫的強化學習流程,並公開了參考影像池、強化學習環境、訓練指令碼及訓練好的模型。文章對比了不同美學獎勵權重配置下的多項實驗結果,詳細記錄了基礎設施搭建及訓練調優過程中的發現。
推薦理由:文章復現並開源了使用強化學習訓練程式碼模型繪製水彩畫的完整流程,為讀者提供了基於美學偏好進行對齊的具體實現與多重實驗對比。
Google Research 聯合 NASA JPL 推出了 MAPL-EMIT 深度學習框架,利用 Swin-S transformer 架構處理高光譜輻射測量資料,實現了甲烷羽流的自動檢測、定量增強預測和源頭定位。
Google Research 推出 TimesFM-3,這是一個擁有 3.3 億引數、原生支援多變數預測的零樣本時間序列基座模型。該模型採用解碼器架構與交替注意力機制,支援單次前向傳遞生成整個預測區間,在 Gift-Eval、FEV-Bench 和 Time 等基準測試中表現優於其他預訓練基座模型,目前已在 GitHub 和 Hugging Face 上線。
推薦理由:谷歌釋出了面向多變數時間序列預測的基座模型 TimesFM-3,它通過交替注意力架構和單次前向傳遞實現了零樣本預測,在多項公開基準測試中表現領先。
Microsoft Research 釋出了 GigaPath-Flash 與 GigaTIME-Flash 兩款高效病理基礎模型。GigaPath-Flash 採用 22M 引數 ViT‑S tile encoder 與 21M 引數 LongNet slide encoder,推理成本比原版低 50 倍,效能僅落後 3%。
Sentence Transformers v6.0 版本引入了多向量檢索模型和完整的訓練方法。作者以醫療檢索領域為例,展示瞭如何在一塊消費級 GPU 上微調出一個超越各大通用檢索模型的領域專用模型。微調方法涵蓋了模型選擇、資料集格式、損失函式、訓練引數以及評估器等核心元件。
推薦理由:文章給出了多向量嵌入模型的完整訓練與微調步驟,讀者可以據此在特定領域獲得超越通用檢索模型的效果。
Hugging Face 推出的 Quantization-Aware Healing(QAH)方法,讓經結構壓縮與量化的 4-bit 模型在 9 項 benchmark 中的 7 項超越了全精度原版。
Hugging Face 宣佈重構 Papers with Code 搜尋引擎,採用混合檢索系統結合 PostgreSQL、pgvector 與 reciprocal rank fusion(RRF)演算法,提升論文檢索效果。
推薦理由:文章詳細拆解了基於混合檢索的論文搜尋引擎架構,展示瞭如何通過離線任務與線上服務的拆分來兼顧吞吐量和低延遲,為類似工程實踐提供了可複用的系統設計範本。
Liquid AI 針對 LFM2.5 模型家族釋出了 DSpark 草稿模型檢查點,通過引入推測解碼路徑,在不改變輸出質量的情況下實現了最高 3.2 倍的吞吐量提升。
推薦理由:該方案在保持輸出質量不變的前提下提升了吞吐量,為端側和雲端推理效能最佳化提供了可複用的技術實踐。
Sentence Transformers 釋出 v6.0 版本,首次引入第四種模型型別 MultiVectorEncoder,用於支援 ColBERT 風格的後期互動檢索。該版本允許開發者通過熟悉的 API 直接載入各類 PyLate、ColBERT 以及 ColPali 視覺文件檢索模型的檢查點,無需經過複雜的格式轉換。
推薦理由:該版本新增了對多向量檢索模型的原生支援,讀者可以通過標準介面直接載入多種主流模型的檢查點並完成檢索與重排。
Hugging Face 釋出了 2026 年夏季開源模型現狀報告,梳理了從 1 月到 8 月期間平臺上的模型規模、下載與點贊分化、開源協議、衍生生態以及智慧體流量變化。報告指出中國實驗室在前端模型規模上領先,Qwen 成為社群衍生基石,同時端側量化和智慧體呼叫正在重塑平臺生態。
推薦理由:文章基於平臺全量資料分析了開源模型在規模、授權、社群衍生與端側部署上的最新結構性變化。
本文介紹了 Strands Robots 中的流式資料閉環方案,展示瞭如何通過自然語言指令錄製機器人示範資料、將其同步至 Hugging Face Storage Buckets 並進行基於 Xet 的位元組級去重。隨後,開發者可以直接從 Hub 流式讀取資料集來訓練策略,並將訓練好的檢查點重新部署到硬體上。
推薦理由:文章介紹了基於 Strands Agents 和 LeRobot 的機器人流式資料閉環方案,讀者可以據此瞭解如何通過雲端儲存桶實現無本地下載的高效訓練。
Hugging Face 舉辦了一場使用編碼智慧體逐條復現 ICML 2026 論文的駭客松,1,221 名參與者在 19 天內釋出了 6,816 份日誌並嘗試復現了 2,226 篇論文。
推薦理由:文章公佈了大規模智慧體復現學術論文的成果與發現,讀者可以從中瞭解自動化復現對檢驗科研質量的實際效果與侷限。
OlmoEarth Studio 推出自定義嵌入向量匯出功能,支援使用者從其開源地球觀測基礎模型計算並匯出緊湊的數值表示。該功能允許通過介面或 API 按需生成輕量級 Cloud-Optimized GeoTIFFs,適用於相似性檢索、少樣本分割、變化檢測和無監督探索等下游任務。
Mistral AI 宣佈推出區域推理端點和優先服務層,支援在歐洲或美國執行推理,並提供 1 GW 計算容量目標。公司還將平臺開放給第三方模型,首批支援 Z.ai 的 GLM‑5.2,所有模型均在同一基礎設施下滿足區域控制與 SLA。為保障歐洲長期 AI 計算需求,Mistral 正與企業組建聯盟,形成歐洲計算單元(ECU)以鎖定多年容量。
推薦理由:Mistral 推出區域推理端點和開放模型支援,幫助企業實現 AI 主權與合規。
Multiverse Computing 在其最新論文《Efficient Knowledge Distillation for LLMs: Offline Top‑K Logits and a Fused Chunked KL Loss》中提出離線 Top‑100 logits 快取與分塊 KL 損失兩項改進。
推薦理由:本文提出的離線Top‑K logits快取和分塊KL損失顯著降低視訊記憶體需求,使大規模LLM蒸餾可在單GPU上完成,降低成本並提升實驗效率。
Meta 推出了全新的 30B 引數開源多模態模型 Muse Glimmer,採用 Apache 2.0 協議釋出,專門面向本地智慧體和隱私保護應用。該模型結合了 2B 的視覺感知編碼器與 28B 的文本解碼器,支援影像、影片理解以及多模態工具呼叫,並提供 transformers、llama.cpp 和 vLLM 的首日支援。
推薦理由:文章詳細介紹了 Meta 開源多模態模型 Muse Glimmer 的架構設計與本地部署方法,讀者可以據此瞭解其在端側智慧體和多模態任務中的應用潛力。
Baseten 現已成為 Hugging Face Hub 的推理提供商,支援在模型頁面和 JS/Python 客戶端 SDK 中直接呼叫無伺服器推理服務。首批上線支援對話和文本生成任務,涵蓋 DeepSeek V4 Flash、GLM-5.2 等開源權重模型。使用者可通過自定義 API 金鑰或由 Hugging Face 路由兩種模式呼叫,並已整合至多個主流 Agent 框架中。
NVIDIA 推出 Cosmos-H-Dreams,這是一個針對手術機器人的即時、動作條件生成式模擬器。該模型將 Cosmos-H-Surgical-Simulator 的能力蒸餾為因果學生模型,並通過 FlashDreams 庫在單張 NVIDIA RTX PRO 6000 GPU 上實現每秒約 160 幀的互動式執行,支援在閉環中進行策略評估和資料生成。
推薦理由:官方推出的即時動作條件生成模擬器展示了手術機器人的互動式環境,讀者可以據此瞭解世界模型在醫療機器人領域的即時推理與應用進展。
Hugging Face 釋出了對 Nunchaku 4 位元擴散推理的原生支援,允許使用者通過標準 from_pretrained 方法直接載入量化檢查點,無需本地 CUDA 編譯。
推薦理由:原文介紹瞭如何在主流擴散模型庫中原生載入 4 位元量化檢查點,這為在消費級硬體上執行大模型提供了輕量化方案。