跳到正文
aihot(aihot.news)· noreply@aihot.news (NVIDIA Blog)·· 13 天前精選品質評分76

NVIDIA 在 CoRL 發布 GR00T 2 世界動作模型與 Isaac Lab 3.0 等開放機器人技術

NVIDIA 在 CoRL 釋出 GR00T 2 世界動作模型及 Isaac Lab 3.0 等開放機器人技術

重點導讀

NVIDIA 在 CoRL 發布開放世界動作模型 GR00T 2、模擬工具與機器人評估技術,涵蓋模型訓練、技能評估和AI 助理工作流程。

  • - GR00T 2:以 NVIDIA Cosmos 為基礎,使用 100,000 小時人類第一人稱視角資料訓練。
  • 在 50 項評估任務中至少完成過 40 項。

AI 伴隨問答

自備 Key 深度分析

針對這篇報導有疑問?可直接點選快捷問題或向 AI 追問背景脈絡與技術細節:

推薦理由

GR00T 2 的多組任務成功率與 Isaac Lab 3.0 的訓練吞吐資料,呈現開放模型和模擬工具如何支援機器人精細操作訓練。

正文

NVIDIA Blog· Sasa Docca·2026-11-09 22:00· 1 天前精選AI 評分70

Practice Makes Precise: At CoRL, NVIDIA and Partners Reveal How Robots Rehearse Delicate Work in Simulation

AI 導讀

NVIDIA 在 CoRL 大會發布開放世界動作模型 GR00T 2,基於 Cosmos 訓練並使用 100,000 小時人類自我中心資料,50 個任務中開箱即用完成 40 個,每任務 1 條演示平均成功率 71%,5 條達 95%。

推薦理由

原文給出 GR00T 2 的任務成功率和 Isaac Lab 3.0 與 Newton 的吞吐提升資料,可瞭解模擬訓練機器人精細操作的進展。

長期以來,模擬一直是機器人學習行走、滾動和跳躍的試驗場,如今它正幫助研究人員教機器人完成需要更精細觸感的任務:對齊齒輪、連線線纜和組裝小型部件。

從運動控制轉向操作,是本週在德克薩斯州奧斯汀舉行的機器人學習會議(CoRL)上的焦點,與此同時,AI 助理機器人(agentic robotics)正在興起——這一新範式將前沿AI 助理整合起來,為物理機器人系統生成可解釋的程式碼。

在 CoRL 上,NVIDIA 將推出新的開放機器人技術,包括世界動作模型、模擬工具、基準測試和AI 助理工作流。

在 CoRL 最佳論文獎的數千份投稿中,有六篇入圍最終名單,其中兩篇來自 NVIDIA:

  • GRAIL(Generating Humanoid Loco-Manipulation from World Models),提出了一套面向機器人學習的 3D 資產與可直接用於模擬器的場景的數字生成流程。
  • RoboTTT: Context Scaling for Robot Policies,提出了一種機器人模型和訓練方法,將視覺運動上下文的規模擴充套件到當前最先進策略的千倍以上,同時不增加推理延遲。

這些進展幫助研究人員在複雜任務上訓練機器人、在變化條件下評估其表現,並利用失敗來指導進一步學習——從而構建從實驗室演示走向工業部署所需的精度、適應性和自主性。

NVIDIA 正與 Ambi Robotics、Bosch Research、Dexmate、Dyna Robotics、FieldAI、Flexion、Noitom Robotics、Siemens、Skild AI、RLWRLD、UC Berkeley、Walden Robotics 和 the University of Washington 等合作伙伴攜手,把這些進展帶給更廣泛的機器人社群。

世界動作模型讓機器人自主性更上一層樓

更高水平的機器人自主性要求機器人感知周圍環境、預判自身動作將如何改變環境,並以高精度執行復雜的多步驟任務。世界動作模型正是為此而生。

在 CoRL 上,NVIDIA 將推出 GR00T 2,這是一個基於 NVIDIA Cosmos 構建的開放前沿世界動作模型。該模型在多樣化的機器人和人類資料上訓練,包括 100,000 小時的 NVIDIA 開源人類第一人稱視角資料,使機器人能夠學習靈巧操作技能。主要特性包括:

  • 開箱即用的表現:在沒有針對具體任務的演示的情況下,50 項評估任務中至少有 40 項完成過一次。
  • 技能遷移:從人類演示中學習,並在沒有機器人演示的情況下,將技能遷移到不同的機器人本體上。
  • 小資料泛化:每個任務僅需一次演示,就能在 50 個任務上取得平均 71% 的成功率;演示增加到五次後,成功率提升至 95%。
  • AI 助理控制:AI 助理可以呼叫 GR00T 2 的應用程式介面和配套工具,按順序執行各項技能,並在出錯後恢復。

在 RoboCasa365、RoboLab、RoboDojo 和 MolmoSpaces 基準測試中,GR00T 2 目前在視覺語言動作模型和世界動作模型的所有類別裡都位列前三,並多次登頂排行榜。  

Nexuni 正在測試它處理機器人洗衣任務,Foxconn 將 GR00T 2 用於伺服器製造的工廠自動化,Siemens 則在各類工業場景中對其進行評估。

MicroAGI 使用經過強化學習後訓練的 GR00T 2,讓 YAM 機械臂完成乙太網路線纜更換。其AI 助理機器人方案藉助 Isaac Lab 3.0 和 Newton 自動建立並校準模擬環境,策略就在其中訓練。

訓練能力出色的機器人需要多樣化的資料。NVIDIA 的開放工作流和模型為研究人員提供了更好的資料採集與標註工具:

  • 面向構建機器人訓練資料集的研究人員,NVIDIA 新推出的開放 Video to Data 工作流可將人類影片轉化為模擬機器人演示,並設有挑戰賽,邀請研究人員共同推進這一方向。
  • NVIDIA EgoHand 開放模型正在 CoRL 上演示,釋出兩週內在 Hugging Face 的下載量已超過 40,000 次。該模型可重建 3D 手部運動,訓練資料來自 Noitom Robotics。

訓練與擴充套件發生在模擬環境中

預訓練模型為機器人提供了一套核心技能。模擬則讓研究人員能夠在部署到實體機器人之前,大規模地訓練、最佳化和評估這些技能。 

NVIDIA Isaac Lab 是一個開源機器人學習框架,為這項工作提供了基礎。其最新版本 Isaac Lab 3.0 讓研究人員可以藉助AI 助理,利用可直接用於模擬的資產快速搭建訓練環境,在 NVIDIA PhysX 與 Newton 物理求解器之間切換,為基於感知的訓練選擇渲染器,並對 GR00T 等基礎模型應用新的強化學習後訓練庫。

精確的物理模擬對於把學到的技能從模擬遷移到真實機器人至關重要。與開源物理引擎 Newton 更緊密的整合,使 Isaac Lab 現在能夠模擬線纜、布料等可變形物體,以及具有許多相互關聯關節的機械手等複雜鉸接系統。 

與 Newton 的整合可模擬草莓在機器人抓握下的形變。

Isaac Lab 與 Newton 相結合,將精確的物理模擬與大規模並行能力融為一體,讓研究人員能夠同時訓練數千個模擬機器人。在基於視覺的靈巧操作基準測試中,搭載 Newton 的 Isaac Lab 3.0 訓練吞吐量最高達到搭載 PhysX 的 Isaac Lab 2.3 的 2.5 倍。

Isaac Lab 支援使用 Newton 和 NVIDIA PhysX 進行機器人模擬。

開發者正在不斷拓展 Newton 的能力。在 CoRL 上,Skild AI 釋出了 Scalable Throughput-optimized Engine for Embodied Learning(簡稱 STEEL),這是一個基於 Newton 構建的全新剛體物理求解器,用於藉助 Isaac Lab 加速機器人訓練。

Skild AI 的 STEEL 求解器。

Flexion 展示了 Isaac Lab 和 Newton 如何幫助訓練其機器人智慧模型 Reflect,該模型將推理與全身操作能力結合在一起。

Flexion 藉助 Isaac Lab 使用 Newton 進行強化學習。

FieldAI 正在使用 Newton,以及基於 NVIDIA Omniverse 庫構建的 Isaac Lab 和 Isaac Sim,來訓練和驗證機器人策略,以便部署到非結構化的真實環境中。Dyna Robotics 將演示 Isaac Lab 中的並行模擬如何幫助訓練其半人形 Taku 機器人的全身控制器,用於倉庫、酒店和餐飲服務場景。

Walden Robotics 正在利用 Isaac Sim 的照片級真實感渲染,在虛擬環境中訓練和評估其通用機器人,面向製造和物流場景;而 Dexmate 則在探索如何讓程式設計AI 助理在 Isaac Sim 中反覆演練並最佳化操作策略,然後再部署到其 Vega 機器人上執行。

AlphaNIST 基於 Isaac Lab 構建,展示了高效練習如何轉化為精準操作。單一策略即可學會 NIST 裝配任務板上的全部 20 項任務,僅憑“成功/失敗”的二值訊號就能操作毫米級零件。其訓練成功率超過 98%,而按任務分別訓練的策略為 81%,且 GPU 時間約減少 39 倍。

AlphaNIST 使用 Isaac Lab 訓練單一機器人策略,完成 NIST 裝配任務板上的 20 項精密任務。

這些成果背後是成功引導取樣(Success-Guided Sampling,簡稱 SGS),由華盛頓大學與 NVIDIA 共同提出。該方法把練習集中在策略成功率約為一半的任務上,讓訓練聚焦於尚未掌握的技能。藉助 SGS,機器人訓練可以擴充套件到超過一百萬個並行環境。

德克薩斯大學奧斯汀分校計算學院和 Texas Robotics 使用 Isaac Sim 和 Isaac Lab 在模擬中訓練機器人技能,讓學生在實體硬體到位之前就能開始開發。

面向機器人評估的新工業基準

學會一項技能是一回事,在多變條件下穩定地完成它又是另一回事。

NVIDIA Isaac Lab-Arena 是一個用於規模化策略評估的開源框架,開發者可以用它組合出多樣且可重複的評估,再並行地在數千種變體上執行策略。分析結果能揭示哪些條件會導致失敗,讓研究人員知道下一輪訓練該修什麼。其最新版本 0.4 的開發者預覽版將在 CoRL 上釋出。 

DexBench 和 VABAR 是兩個全新的開放基準,它們是最早一批藉助 Isaac Lab-Arena 和 Newton、針對工業任務衡量機器人靈巧度與適應性的基準。

DexBench 由 RLWRLD 與 NVIDIA 合作開發,把靈巧度評估從桌面搬到真實工作流程中。它基於 NVIDIA Isaac Lab-Arena 構建,涵蓋零售、物流、製造和酒店服務四大場景下的 15 項任務,考察機器人在物體、空間和物理變化下的泛化能力。 

Genesis AI、mimic robotics 等業界合作伙伴正通過早期訪問評估 DexBench。

團隊可以在 Manifold 上執行 DexBench。這是 Bifrost’s 用於擴充套件機器人模擬的評估平臺,無需任何配置,內建失敗分析,併為初次評估提供免費額度。 

VABAR(Variational Automation Benchmark for Agentic Robotics,面向AI 助理機器人的變分自動化基準)由 UC Berkeley 與 NVIDIA 推出,在六項工業任務上評估機器人。每項任務都配有標準化變體、難度分級和成功指標。 

一個模擬的工具分揀任務,展示了 VABAR 如何評估機器人在工業流程中的操作技能。

AI 助理把技能組合成機器人程式

要成功完成任務,機器人需要協調多項技能,並在出問題時隨機應變。為這類多步驟任務構建可靠程式仍是一大挑戰。

AI 助理機器人正是解決這一挑戰的途徑。

UC Berkeley 的全新 Graph-as-Policy(GaP)框架用AI 助理把單項技能連線成機器人程式。AI 助理藉助 NVIDIA Isaac 開放模擬技術測試這些程式,並根據失敗情況加以改進。這幫助研究人員用更少的資料擴大開發規模,同時讓程式保持可解釋性,便於工程師在部署前審查和驗證。

GaP 利用AI 助理和模擬,把單項機器人技能轉化為協調動作,例如擦拭吧檯。

“在我看來,AI 助理機器人是 1995 年網際網路以來最令人興奮的技術進展,”UC Berkeley 機器人學教授、VABAR 和 GaP 專案負責人 Ken Goldberg 說。

Ambi Robotics 正在探索將 GaP 用於工業自動化。

Ambi Robotics、Bosch Research 和 Siemens 都在探索將 GaP 用於各類工業場景中的AI 助理機器人工作流程。

想了解更多,歡迎參加 NVIDIA 在 CoRL 的活動。

來源:NVIDIA Blog · blogs.nvidia.com

來源: aihot (aihot.news)
開啟原文

讀者討論

理性交流 · 即時討論