当前位置: 华文星空 > 汽车

nerf或者是跟其相关的3D重建方法怎么应用在自动驾驶或者机器人领域?

2023-06-06汽车

首先,NeRF的确是输入一个pose,得到一张图像。但是这个pose支持任意视角,这样可以实现全场景的漫游,而不简单限制于拍摄视角和帧率。在自动驾驶里面,我认为可以分为以下2方面:

仿真,利用NeRF的逼真重建能力 :通过逼真地重建,为自动驾驶提供仿真测试。可以有效地把现实世界复制进虚拟世界。具体可以参见Nvidia的发布视频:https://www. youtube.com/watch? v=vgot-CK1xRk

标注,把NeRF作为底层工具 :自动驾驶训练数据真值的生产,是一项非常重要且有挑战性的工作。NeRF除了实现逼真的渲染之外,它还可以作为一项底层技术,支持离线标注任务。

比如Tesla 2021年ai day上,用隐式神经表达(Neural implicit Representation)来重建道路,实现多视角、多时刻的标签融合,进而实现车道线的自动标注。

在2022年的ai day上,他们又用NeRF来重建场景,作为占据网络的groundtruth。

作为一个底层工具,NeRF还有潜力应用在 flow生成、4D语义分割、深度估计、多传感器标定、重定位等任务。

另外,还有一些公司正在尝试通过NeRF重建来扩充感知数据集,用于覆盖长尾case,提高感知的精度。我认为这样的方法离实用还有较大的差距。现阶段建立起数据闭环,通过数据挖掘和离线标注的方式,才是不断解决感知长尾问题的最佳方式。