如何通過移動性讓語言模型更深入理解地點
Google Research 推出 Mobility-Embedded POIs (ME-POIs) 框架,將聚合匿名移動模式與文本描述融合,顯著提升地點屬性預測。在公開基準上,ME-POIs 使訪問意圖預測提升 81.9%,價格等級分類提升 75.1%,繁忙度估計準確率提升 24.7%。
Google Research 推出 Mobility-Embedded POIs (ME-POIs) 框架,將聚合匿名移動模式與文本描述融合,顯著提升地點屬性預測。在公開基準上,ME-POIs 使訪問意圖預測提升 81.9%,價格等級分類提升 75.1%,繁忙度估計準確率提升 24.7%。
Diffusers 0.40.0 釋出多項新管線、張量並行支援與 CLI 改進,為開發者帶來更高效的多模態推論與操作體驗。 - 新管線:MiniMax‑H3、MiniMax Music 3、Wan Animate 2、LTX‑2.5 等,支援影像、音訊、影片同步生成。
summary_zh: 每日論文雷達於 2026‑08‑20 盤點 760 篇關於具身智慧的最新研究,並精選 10 篇關鍵論文。 - The Embodiment Gap in Robot Foundation Models:定義「具體化落差」,探討機器人基礎模型從泛化到實際硬體部署的挑戰。
Sentence Transformers 釋出 v6.0 版本,首次引入第四種模型型別 MultiVectorEncoder,用於支援 ColBERT 風格的後期互動檢索。該版本允許開發者通過熟悉的 API 直接載入各類 PyLate、ColBERT 以及 ColPali 視覺文件檢索模型的檢查點,無需經過複雜的格式轉換。
Google Research 推出了 PhotoScan,這是一個通過標準 2D 智慧手機照片估算 3D 身體成分指標(如體脂率、A/G 比和 V/S 比)的深度學習框架。該模型在英國生物銀行資料上進行預訓練,並利用 677 名成人的佇列進行了微調;獨立驗證顯示其在預測胰島素抵抗方面達到了接近 DXA 掃描的準確度。
本文介紹如何在聊天請求中透過 content 陣列傳送文字與圖片,支援多種視覺模型且請求格式保持一致。 - 請求格式:使用 messages 陣列,包含 type: text 與 type: image_url 兩個部分,支援公開網址與 base64 資料格式。
推薦理由:原文詳細拆解如何透過 API 傳送圖片給多模態大語言模型,開發者可據此評估公開網址與 base64 編碼的適用時機。
OlmoEarth Studio 推出自定義嵌入向量匯出功能,支援使用者從其開源地球觀測基礎模型計算並匯出緊湊的數值表示。該功能允許通過介面或 API 按需生成輕量級 Cloud-Optimized GeoTIFFs,適用於相似性檢索、少樣本分割、變化檢測和無監督探索等下游任務。
Microsoft Research 推出了新基準 MindTopo,用於評估多模態大語言模型對連通性、包圍、順序、分離和結等拓撲概念的理解。研究發現,模型在靜態影像識別上的表現明顯優於需要跨動作維持空間關係的互動式規劃任務。
Google DeepMind 釋出了多語言手語轉文本翻譯模型 SL2T,並將其整合到 Gboard 和 Pixel 11 的 Live Transcribe 中。該模型支援將美國手語直接轉換為英語文本,它基於超過 10 萬小時的資料訓練,通過處理姿勢關節點來保護隱私並實現流式輸出。
Google Research 推出了 AMIE 的即時影片配置版本 AMIE (Video),能夠基於 Gemini 和 Project Astra 進行同步臨床影片問診,感知非引導性的臨床非語言線索並進行即時診斷推理。
推薦理由:這項研究展示了多模態醫療AI在影片問診中的專家級表現,為遠端醫療系統的架構設計提供了實證參考。
Microsoft Research 推出了研究模型 CARE-X,這是一款旨在兼顧自由文本推理與確定性輸出的統一胸部 X 光 VLM。該模型結合了生成式與判別式能力,並通過強化學習(DAPO)在多工設定中最佳化臨床準確性。研究還線上路實驗中搭配了 Qwen3-VL-4B-Instruct 與確定性測量工具以評估效能。
Muse Glimmer 是 Meta Superintelligence Labs 推出的 30B 多模態模型,支援 128K+ 上下文長度,適合本地代理工作負載。
推薦理由:Meta 推出 Muse Glimmer,可在本地執行 30B 多模態模型,支援 128K+ 上下文與 Apple Silicon 高效運算。
Meta 推出了全新的 30B 引數開源多模態模型 Muse Glimmer,採用 Apache 2.0 協議釋出,專門面向本地AI 助理和隱私保護應用。該模型結合了 2B 的視覺感知編碼器與 28B 的文本解碼器,支援影像、影片理解以及多模態工具呼叫,並提供 transformers、llama.cpp 和 vLLM 的首日支援。
推薦理由:文章詳細介紹了 Meta 開源多模態模型 Muse Glimmer 的架構設計與本地部署方法,讀者可以據此瞭解其在端側AI 助理和多模態任務中的應用潛力。
想在自己的電腦上執行多模態 AI 助理,速度和硬體需求常是難題。SGLang 宣佈從 Muse Glimmer 推出的第一天就提供支援,讓開發者能在多種 NVIDIA 顯示卡、DGX Spark 和 Apple Silicon 裝置上執行這個 30B 模型。文章列出不同硬體與設定下的速度:在 RTX 5090 上使用 NVFP4 和 DFlash 時,每位使用者每秒可生成 236 個 token,批次輸出速度最高為每秒 1,452 個 token。DFlash 能加快多數測試設定的互動速度,但 Apple Silicon 的 MLX 後端目前不支援這項功能。
推薦理由:Muse Glimmer 加入 SGLang 首日支援後,可在多種本機硬體上執行;文中資料也比較了不同平臺與解碼方式的速度差異。
vLLM 透過社群貢獻的最佳化核心與異構快取設計,讓 Qwen3.5 在 GB200 NVL72 系統上每 GPU 總 TPS 超過 25,000。
推薦理由:本文提供可實踐的最佳實踐與配置,藉助 vLLM 社群貢獻的最佳化核心與異構快取設計,幫助開發者在 Qwen3.5 上達成 25K TPS/GPU 的高效推理,並可快速複製至自家環境。
Mistral AI 釋出了 Shieldstral,這是一款 3B 引數的開源多模態安全分類模型,採用 Apache 2.0 協議開源。該模型將內容稽核轉換為策略自適應的問答任務,允許在推理時通過自然語言指定策略,從而無需重新訓練即可統一處理文本和影像安全評估。
DeepMind 釋出 Gemini Robotics ER 2,作為其最新的“具身推理”模型,支援持續影片理解、任務編排和多機器人協作。該模型可與任何低層 VLA 模型配合,即時呼叫工具(如 Google Search),並在執行過程中保持推理,顯著提升任務完成率和安全性。
推薦理由:Gemini Robotics ER 2 通過影片理解和多機器人協作提升機器人任務完成率,展示了高效即時推理與安全控制的結合。
NVIDIA 推出 Cosmos-H-Dreams,這是一個針對手術機器人的即時、動作條件生成式模擬器。該模型將 Cosmos-H-Surgical-Simulator 的能力蒸餾為因果學生模型,並通過 FlashDreams 庫在單張 NVIDIA RTX PRO 6000 GPU 上實現每秒約 160 幀的互動式執行,支援在閉環中進行策略評估和資料生成。
vLLM 官方宣佈對 Kimi K3 模型提供 Day-0 完整支援,帶來混合快取、推測解碼與生產環境最佳化。 - 模型架構:Kimi K3 是一個 2.8 兆引數的混合專家(MoE)多模態模型,每個 token 啟用 16 個專家(共 896 個),支援 1M token 上下文視窗與原生視覺能力。
推薦理由:vLLM 官方釋出針對 **Kimi K3** 的 Day-0 支援與完整效能最佳化方案,讀者可透過文內設定與架構解析評估其在大規模生產環境中的部署與加速策略。
Kimi K3 是 Moonshot 推出的 2.8T 引數多模態模型,擁有 1M token 上下文視窗與原生視覺功能,Modal 於發布當日即以 460 tokens/秒的速度執行。
推薦理由:Kimi K3 以 3T 引數與 1M token 上下文,結合高效推理與自動化推測,讓使用者能在 Modal 以 token 基本定價即時部署前沿多模態模型。
OpenRouter 釋出圖片生成教學與 API 整合指南,詳細說明如何選擇圖片生成模型、檢查引數支援以及排查常見錯誤。 - 模型選擇邏輯:建議依據工作任務(如文生圖、圖生圖、向量輸出、可讀文字)、引數支援與價格來挑選模型。
Google DeepMind 推出 Gemini 3.6 Flash、3.5 Flash-Lite 以及 3.5 Flash Cyber 三款新模型,旨在以更高效率和更低延遲支撐大規模 AI 助理工作流。
推薦理由:官方釋出了三個新的 Gemini Flash 系列模型,給出了詳細的效能指標與價格,讀者可以據此評估其在AI 助理工作流和高吞吐任務中的成本與效率。
OpenRouter 宣佈支援透過單一 OpenAI 相容的基礎網址與金鑰,呼叫文字、影像生成、影片生成、語音、嵌入向量與語音轉文字等 5 種模態。 - 端點架構:多數輸入模態透過 /chat/completions 搭配不同內容型態處理,而影像生成、影片生成、文字轉語音、語音轉文字與嵌入向量則使用各自的專屬端點。
summary_zh: Thinking Machines 推出 Inkling,一款可接受文字、影像與音訊輸入並輸出文字的多模態模型,並於 Modal 以 Managed Endpoint 形式提供。
新模型架構常讓推論和訓練工具得花時間才能跟上。SGLang 和 Miles 在 Inkling 推出時就加入支援,並為它的短卷積、相對位置注意力和共享專家設計調整執行方式。Inkling 最長可處理 1M 個 token;在 NVIDIA Blackwell GPU 上,SGLang 的輸入處理速度最高達每秒 71.7k 個 token,單一使用者生成速度最高為每秒 171.0 個 token。Miles 也支援文字與影像任務的強化學習訓練,並用路由重播等方法讓訓練和推論的計算保持一致。
推薦理由:文章對照 Inkling 的注意力與 MoE 設計,說明 SGLang 如何調整推論流程,也呈現 Miles 如何讓訓練和推論使用一致的模型行為。
Google Research 推出了 SensorFM,這是一個在大規模未標註可穿戴感測器資料上預訓練的大型感測器基礎模型。該模型使用超一萬億分鐘的多模態感測器訊號進行自監督訓練,能夠跨越心血管、代謝、睡眠和心理健康等多個領域進行通用表徵,並支援構建更精準的個人健康AI 助理。
Mistral AI 釋出首款具身導航模型 Robostral Navigate,這是一個 8B 引數量的模型,僅需單個普通 RGB 攝像頭和自然語言指令即可讓機器人在複雜環境中自主導航。該模型在 R2R-CE 未見驗證集上取得 76.6% 的成功率,在完全使用模擬資料和高效字首快取技術訓練的基礎上,結合了基於指向的導航與線上強化學習。
LeRobot v0.6.0 引入了世界模型策略、全新的視覺語言動作模型和統一的獎勵模型 API,同時帶來了六大模擬評測基準、全新的部署命令列工具以及深度感知和資料自動標註能力。此次更新還優化了資料集載入速度,實現了完全分片資料並行訓練和雲端訓練支援,並大幅精簡了基礎安裝包的依賴。
推薦理由:該版本閉環了機器人學習流程,使用者可以據此瞭解開源機器人框架在世界模型和評測方面的新能力。
OpenRouter 團隊對 OpenAI 與 Google 最新模型的圖片細節引數進行基準測試,發現在推理模型中將圖片設為低解析度(low)反而會因模型需花費更多思考力而增加總成本並降低準確率。
2026 年,Berkeley Artificial Intelligence Research (BAIR) Lab 慶祝其畢業生的成就。他們的研究涵蓋機器人、LLM、計算機視覺、生成模型、AI 安全、人機互動、科學與醫療 AI,並已發表影響力論文、構建實用系統、指導同輩。畢業生正投身學術、工業研究實驗室及創業公司,期待未來發展。
Google Research 釋出了擴充套件後的建築級屋頂反射率資料集,覆蓋全球 50 多個城市,旨在幫助城規劃者實施清涼屋頂解決方案以緩解極端熱浪。該資料集通過全新的高解析度 Heat Resilience Earth Engine App 公開提供,結合衛星資料與機器學習模型實現了 30 釐米的高空間解析度。
Google DeepMind 推出兩款新模型:速度最快且最具成本效益的影像模型 Nano Banana 2 Lite,以及用於高質量影片生成和對話式編輯的 Gemini Omni Flash。
推薦理由:Google DeepMind 推出 Nano Banana 2 Lite 與 Gemini Omni Flash 兩款新模型,為開發者串聯影像生成與影片編輯提供了低成本且高效的新方案。
Mistral AI 釋出 Mistral OCR 4 模型,提供文件解析功能,除提取文本外還返回邊界框、塊分類和行內建信度分數。該模型支援 170 種語言,可在單容器中執行以用於自託管部署,並通過 API 或 Document AI 提供支援。
推薦理由:該模型支援多語言及單容器私有化部署,為企業級檢索和AI 助理工作流提供了帶邊界框和置信度的結構化文件解析能力。
Google Research 開發了一個高解析度深度學習框架,將衛星影像轉化為英格蘭全境林籬、石牆和樹叢的向量化資料集。該框架基於在超 3 億張全球衛星影像上預訓練的 ViT Backbone,並結合雙層標註系統與多邊形緊湊度評分,有效解決了複雜空間拓撲與計算規模等技術難題。這一新資源賦能土地所有者與自然保護主義者測量並擴充套件微觀生態特徵,在不損害糧食安全的前提下應對氣候與生物多樣性危機。
Google Research 分享了關於消費者理解皮膚科 AI 工具的研究,指出結構化 AI 輔助能顯著提升使用者識別皮膚狀況的能力與準確率。在一項針對 2,345 名參與者的研究中,使用 AI 工具組的病情命名準確率達到 23%,接近未輔助對照組 8% 的三倍。然而,由於資訊通用性限制,標準 AI 組在確定後續醫療行動時的準確率並未表現出顯著提升。
DeepMind 推出 Gemma 4 12B,這是一款無編碼器的統一多模態模型,能夠直接在配備 16GB VRAM 的筆記本上執行。它在保持與 26B MoE 近似的推理效能的同時,顯著降低了記憶體佔用,並首次支援原生音訊輸入。
推薦理由:Gemma 4 12B 以無編碼器的多模態架構實現低記憶體、強推理,適配本地 16GB VRAM 機器,讀者可據此評估在邊緣裝置上的部署可能。
Google Research 推出了被動心率監測系統(PHRM),利用智慧手機前置攝像頭在日常面部解鎖後進行影片採集,通過深度學習實現全膚色覆蓋的心率與靜息心率精準追蹤。該研究結合實驗室與真實世界評估,在各類膚色上均達到了與穿戴裝置相當的準確率,並同步開源了相關資料集與“PHRM-mini”預訓練模型供合規研究者申請使用。
開源模型訓練工具 Axolotl 發布 v0.17.0,新增多種訓練能力並修正多模態損失遮罩。 - 分散式訓練:加入透過 DeepSeek 的 DeepEP 執行 MoE Expert Parallelism,已在 2×A100、4×A100、8×H100 上驗證。
Google Research 在 I/O 2026 上公佈了多款 AI 工具與模型,涵蓋科研加速、健康應用、邊緣計算與氣候預測等領域。
圖片多的問題一次送進 VLM 時,負責看圖的工作會讓 GPU 忙不過來,使用者得等更久。SGLang 透過 Dynamo 把部分圖片處理工作交給 CPU,再用路由器依照 CPU 和 GPU 的忙碌程度分配請求。測試使用 Qwen3-VL-8B-Instruct,在每秒送出 1 到 2 個請求時,混用 CPU 和 GPU 的做法,首個文字回覆時間和處理請求量提升約 1.2 到 1.3 倍;每個輸出 token 的等待時間則減少約 1.3 到 30 倍。這顯示,把看圖工作分給 CPU,有機會讓忙碌時的服務更快。