當前位置: 華文星空 > 汽車

nerf或者是跟其相關的3D重建方法怎麽套用在自動駕駛或者機器人領域?

2023-06-06汽車

首先,NeRF的確是輸入一個pose,得到一張影像。但是這個pose支持任意視角,這樣可以實作全場景的漫遊,而不簡單限制於拍攝視角和幀率。在自動駕駛裏面,我認為可以分為以下2方面:

仿真,利用NeRF的逼真重建能力 :透過逼真地重建,為自動駕駛提供仿真測試。可以有效地把現實世界復制進虛擬世界。具體可以參見Nvidia的釋出視訊:https://www. youtube.com/watch? v=vgot-CK1xRk

標註,把NeRF作為底層工具 :自動駕駛訓練數據真值的生產,是一項非常重要且有挑戰性的工作。NeRF除了實作逼真的渲染之外,它還可以作為一項底層技術,支持離線標註任務。

比如Tesla 2021年ai day上,用隱式神經表達(Neural implicit Representation)來重建道路,實作多視角、多時刻的標簽融合,進而實作車道線的自動標註。

在2022年的ai day上,他們又用NeRF來重建場景,作為占據網路的groundtruth。

作為一個底層工具,NeRF還有潛力套用在 flow生成、4D語意分割、深度估計、多傳感器標定、重定位等任務。

另外,還有一些公司正在嘗試透過NeRF重建來擴充感知數據集,用於覆蓋長尾case,提高感知的精度。我認為這樣的方法離實用還有較大的差距。現階段建立起數據閉環,透過資料探勘和離線標註的方式,才是不斷解決感知長尾問題的最佳方式。