当前位置: 华文星空 > 知识

NVIDIA Omniverse:关于工业机器人模拟你不知道的事

2021-07-08知识

前不久,NVIDIA在GTC大会上发布Omniverse企业套件,这是一个专注实时仿真、数字协作的云平台,旨在将创作者、设计师和工程师等等工作流转移到线上,实现多人实时共享协作和高逼真场景模拟。

据青亭网了解,Omniverse平台是Holodeck项目的延伸,其灵感来源于metaverse,相当于一个通用的虚拟世界平台。此外,其基于皮克斯的USD开源3D规范,具有高度逼真物理模拟、高性能渲染能力等特点,可模拟真实场景的数字模型,应用场景包括:建筑、工程和施工,制造业、媒体与娱乐产业、超级计算、云服务等平台。

实际上,类似于Omniverse、Metaverse的概念和平台不少,但我们到底可以用它们来做什么,这是很多人心中的疑问。青亭网在此前的文章中, 曾介绍metaverse、元宇宙的概念和意义 。那么,今天就来讲讲NVIDIA的Omniverse具体可以用来做什么。

在Omniverse平台的众多应用场景中,一个实际的案例就是用来培训仿真机器人。比如,宝马曾利用基于Omniverse的Isaac Sim引擎模拟工厂场景,在这个虚拟场景中培训机器人,并将获取的数据应用于真实的机器人场景,让机器人在真实的工厂中可以更自然的运行。

那么什么是机器人模拟呢?实际上就是在让机器人在小规模的地图中移动,通过随机生成的数字场景(可随机亮度、色彩、纹理、材质等元素),来模拟真实的工厂环境。甚至,还可以在虚拟环境中模拟运行虚拟的机器人。通过在随机生成的多样化场景中训练神经网络,AI模型的培训效果也将提升,在真实场景应用的适应性也更好。同时,通过这些模拟测试,可获得逼真的学习数据,帮助提升机器人在实际应用中的效果。换句话说,有点像是在逼真的皮克斯卡通片中设计产品。

NVIDIA表示:Isaac Sim引擎内建于Omniverse平台中,如此一来将提升机器人的工作流程。而这些提升将具体分为四点:1)Omniverse物理模拟功能可与现有的物理框架集成,来模拟逼真的物理效果;2)可扩展性强;3)高度兼容性;4)支持云计算和边缘计算。

具体来讲,Isaac Sim引擎有两大功能:机器人模拟、生成用于培训算法的合成数据。利用该引擎,企业可以在逼真模拟的场景中更有效的培训和测试机器人,好处是可以在模拟场景中获得真实交互数据,而且培训规模可超越真实场景。

Isaac Sim引擎的优势

近期,NVIDIA在Omniverse中发布了最新版Isaac Sim机器人模拟引擎,新版增加了以下功能:

  • 支持多摄像头;
  • 支持鱼眼摄像头和合成数据;
  • 支持ROS2;
  • 兼容PTC OnShape导入工具;
  • 优化对超声波传感器、力传感器、定制激光雷达的支持,支持RGB、深度、边界框和分割功能;
  • 可下载的NVIDIA Omniverse启动器。
  • NVIDIA高级产品市场经理Gerard Andrews表示:目前,Isaac Sim机器人模拟引擎正式开放测试,通过该引擎,企业和设计师可以在制造机器人之前在模拟环境中测试机器人的功能。而在此前的早期测试项目中,已经有来自宝马等数百家企业的数千名开发者参与。

    利用Isaac Sim引擎来培训机器人的优势在于,其可模拟逼真的数字场景,同时还能简化数据合成和随机场景生成的过程,为物流、仓库、工厂等场景的机器人培训提供参考数据。

    细节方面,Isaac Sim引擎基于NVIDIA的核心技术,可实现精准物理模拟、实时光追、路径跟踪和逼真的材质模拟。Andrew表示:机器人模拟面临的一大挑战是,模拟数据与真实数据之间的差距,如果差距超过特定值,将不会被工程师或开发者采用。

    为了解决上述问题,NVIDIA的Isaac Sim引擎采用Omniverse的实时模拟和协作技术,特点是模拟效果足够逼真,应用场景广泛,模块化,互通性强等等,因此更有可能吸引企业和开发者来使用和学习。此外,Isaac Sim引擎已经集成机器人操控、机器人导航、生成用于培训AI的合成数据等功能,而且通过Omniverse平台,可以实现与其他3D工具实现无缝连接和互通性,将这些3D工具用于机器人在虚拟环境中的开发、训练和测试。此外,其模块化设计更方便定制化,用户可将Isaac平台的工具用于多种场景和环境。

    基于Omniverse的高仿真模拟

    据NVIDIA公布的Isaac Sim模拟效果图来看,随机生成的工厂和模拟的机器人看起来足够逼真,看起来就像是写实的照片,当然这些都是3D渲染的效果。

    为了实现逼真的机器人模拟,Isaac利用Omniverse平台的高端GPU来进行渲染,支持PhyxX 5物理引擎、实时光追、路径追踪、MDL(材质定义语言),可实现基于物理的渲染效果。

    Omniverse是Isaac Sim等NVIDIA模拟平台的底层技术,它可提供协作、共享和USD 3D模型导入功能,进一步简化机器人培训流程。近期,该平台又加入了一些新功能,比如:支持多摄像头、优化传感器功能,兼容PTC OnShape CAD导入工具,简化3D资源导入过程。支持3D资源导入后,机器人可以在更多3D场景中训练,也可以训练更多机器人模型。

    模拟培训的好处

    据NVIDIA称,Isaac Sim旨在解决机器人培训和模拟场景中的常见问题,同时,在利用Omniverse平台来模拟机器人的好处是,可以将收集到的培训数据用于优化AI模型,测试等多种场景,降低培训数据收集所需的时间。

    Isaac Sim测试版可输出KITTI格式的合成数据,而这些数据则可直接在NVIDIA迁移学习工具套件中使用,通过不同的数据来对不同应用场景优化机器人模型。

    有些人可能会问,如果我已经开发出机器人原型,为什么不能直接运行模拟,而是要在虚拟场景中模拟?

    对于一些规模较大的项目来讲,可能需要50名工程师同时测试有限的一台机器人原型。如果在Isaac Sim引擎中模拟机器人培训,则这50名工程师可以同时测试,而且不受地理位置约束,远程也可以测试。

    Andrew表示:机器人的造价成本较高,而且在训练过程中也可能会发生撞人等安全隐患。因此即使已经开发出硬件,虚拟培训也依然有价值,因为它成本更低,可反复多次测试,而且更加方便且安全。

    总之,Isaac Sim引擎只是Omniverse高仿真模拟的一个应用场景,实际上它还可以用于工厂/企业的数字化转型,或是用于电影制作(预览3D场景)等等。参考:VentureBeat