當前位置: 華文星空 > 知識

NVIDIA Omniverse:關於工業機器人模擬你不知道的事

2021-07-08知識

前不久,NVIDIA在GTC大會上釋出Omniverse企業套件,這是一個專註即時仿真、數碼協作的雲平台,旨在將創作者、設計師和工程師等等工作流轉移到線上,實作多人即時共享協作和高逼真場景模擬。

據青亭網了解,Omniverse平台是Holodeck專案的延伸,其靈感來源於metaverse,相當於一個通用的虛擬世界平台。此外,其基於皮克斯的USD開源3D規範,具有高度逼真物理模擬、高效能渲染能力等特點,可模擬真實場景的數碼模型,套用場景包括:建築、工程和施工,制造業、媒體與娛樂產業、超級計算、雲服務等平台。

實際上,類似於Omniverse、Metaverse的概念和平台不少,但我們到底可以用它們來做什麽,這是很多人心中的疑問。青亭網在此前的文章中, 曾介紹metaverse、元宇宙的概念和意義 。那麽,今天就來講講NVIDIA的Omniverse具體可以用來做什麽。

在Omniverse平台的眾多套用場景中,一個實際的案例就是用來培訓仿真機器人。比如,寶馬曾利用基於Omniverse的Isaac Sim引擎模擬工廠場景,在這個虛擬場景中培訓機器人,並將獲取的數據套用於真實的機器人場景,讓機器人在真實的工廠中可以更自然的執行。

那麽什麽是機器人模擬呢?實際上就是在讓機器人在小規模的地圖中移動,透過隨機生成的數碼場景(可隨機亮度、色彩、紋理、材質等元素),來模擬真實的工廠環境。甚至,還可以在虛擬環境中模擬執行虛擬的機器人。透過在隨機生成的多樣化場景中訓練神經網絡,AI模型的培訓效果也將提升,在真實場景套用的適應力也更好。同時,透過這些模擬測試,可獲得逼真的學習數據,幫助提升機器人在實際套用中的效果。換句話說,有點像是在逼真的皮克斯卡通片中設計產品。

NVIDIA表示:Isaac Sim引擎內建於Omniverse平台中,如此一來將提升機器人的工作流程。而這些提升將具體分為四點:1)Omniverse物理模擬功能可與現有的物理框架整合,來模擬逼真的物理效果;2)可延伸性強;3)高度相容性;4)支持雲端運算和邊緣計算。

具體來講,Isaac Sim引擎有兩大功能:機器人模擬、生成用於培訓演算法的合成數據。利用該引擎,企業可以在逼真模擬的場景中更有效的培訓和測試機器人,好處是可以在模擬場景中獲得真實互動數據,而且培訓規模可超越真實場景。

Isaac Sim引擎的優勢

近期,NVIDIA在Omniverse中釋出了最新版Isaac Sim機器人模擬引擎,新版增加了以下功能:

  • 支持多網絡攝影機;
  • 支持魚眼網絡攝影機和合成數據;
  • 支持ROS2;
  • 相容PTC OnShape匯入工具;
  • 最佳化對超聲波傳感器、力傳感器、客製激光雷達的支持,支持RGB、深度、邊界框和分割功能;
  • 可下載的NVIDIA Omniverse啟動器。
  • NVIDIA高級產品市場經理Gerard Andrews表示:目前,Isaac Sim機器人模擬引擎正式開放測試,透過該引擎,企業和設計師可以在制造機器人之前在模擬環境中測試機器人的功能。而在此前的早期測試專案中,已經有來自寶馬等數百家企業的數千名開發者參與。

    利用Isaac Sim引擎來培訓機器人的優勢在於,其可模擬逼真的數碼場景,同時還能簡化數據合成和隨機場景生成的過程,為物流、倉庫、工廠等場景的機器人培訓提供參考數據。

    細節方面,Isaac Sim引擎基於NVIDIA的核心技術,可實作精準物理模擬、即時光追、路徑跟蹤和逼真的材質模擬。Andrew表示:機器人模擬面臨的一大挑戰是,模擬數據與真實數據之間的差距,如果差距超過特定值,將不會被工程師或開發者采用。

    為了解決上述問題,NVIDIA的Isaac Sim引擎采用Omniverse的即時模擬和協作技術,特點是模擬效果足夠逼真,套用場景廣泛,模組化,互通性強等等,因此更有可能吸引企業和開發者來使用和學習。此外,Isaac Sim引擎已經整合機器人操控、機器人導航、生成用於培訓AI的合成數據等功能,而且透過Omniverse平台,可以實作與其他3D工具實作無縫連線和互通性,將這些3D工具用於機器人在虛擬環境中的開發、訓練和測試。此外,其模組化設計更方便客製化,使用者可將Isaac平台的工具用於多種場景和環境。

    基於Omniverse的高仿真模擬

    據NVIDIA公布的Isaac Sim模擬效果圖來看,隨機生成的工廠和模擬的機器人看起來足夠逼真,看起來就像是寫實的照片,當然這些都是3D渲染的效果。

    為了實作逼真的機器人模擬,Isaac利用Omniverse平台的高端GPU來進行渲染,支持PhyxX 5物理引擎、即時光追、路徑追蹤、MDL(材質定義語言),可實作基於物理的渲染效果。

    Omniverse是Isaac Sim等NVIDIA模擬平台的底層技術,它可提供協作、共享和USD 3D模型匯入功能,進一步簡化機器人培訓流程。近期,該平台又加入了一些新功能,比如:支持多網絡攝影機、最佳化傳感器功能,相容PTC OnShape CAD匯入工具,簡化3D資源匯入過程。支持3D資源匯入後,機器人可以在更多3D場景中訓練,也可以訓練更多機器人模型。

    模擬培訓的好處

    據NVIDIA稱,Isaac Sim旨在解決機器人培訓和模擬場景中的常見問題,同時,在利用Omniverse平台來模擬機器人的好處是,可以將收集到的培訓數據用於最佳化AI模型,測試等多種場景,降低培訓數據收集所需的時間。

    Isaac Sim測試版可輸出KITTI格式的合成數據,而這些數據則可直接在NVIDIA遷移學習工具套件中使用,透過不同的數據來對不同套用場景最佳化機器人模型。

    有些人可能會問,如果我已經開發出機器人原型,為什麽不能直接執行模擬,而是要在虛擬場景中模擬?

    對於一些規模較大的專案來講,可能需要50名工程師同時測試有限的一台機器人原型。如果在Isaac Sim引擎中模擬機器人培訓,則這50名工程師可以同時測試,而且不受地理位置約束,遠端也可以測試。

    Andrew表示:機器人的造價成本較高,而且在訓練過程中也可能會發生撞人等安全隱患。因此即使已經開發出硬件,虛擬培訓也依然有價值,因為它成本更低,可反復多次測試,而且更加方便且安全。

    總之,Isaac Sim引擎只是Omniverse高仿真模擬的一個套用場景,實際上它還可以用於工廠/企業的數碼化轉型,或是用於電影制作(預覽3D場景)等等。參考:VentureBeat