最近世界模型相關工作增加,也引起了大家對世界模型的探討,是否會顛覆自動駕駛標註行業,今天的分享由知乎作者 @一介書生 投稿。
1: 數據標註面臨的問題(特別是基於BEV 任務)
隨著基於BEV transformer 任務的興起,隨之帶來的是對數據的依賴變的越來越重,基於BEV 任務的標註也變得越來越重要。目前來看無論是2D-3D的聯合障礙物標註,還是基於重建點雲的clip 的車道線或者Occpuancy 任務標註都還是太貴了(和2D標註任務相比,貴了很多)。當然業界裏面也有很多基於大模型等的半自動化,或者自動化標註的研究。還有一方面是自動駕駛的數據采集,周期太過於漫長,還涉及到數據合規能一系列問題。比如,你想采集一個平板車跨相機的場景,或者一個車道線城市多變少,少變多的場景,就需要采集人員專項去構建這樣的場景。
關註知乎@自動駕駛Daily,第一時間獲取自動駕駛感知/定位/融合/規控等行業最新內容2: 24年會是世界模型的奇異點時刻嗎?
世界模型這個概念太過於大,或者說成傳感器仿真。在特斯拉AI day 上第一次見識到仿真對標註的顛覆
![](https://img.jasve.com/2024-3/71f4254d183aead4ff75cce17367f877.webp)
圖1: 特斯拉的自動化標註效果
![](https://img.jasve.com/2024-3/ee38595c47cb8cde8d43c7f51cde2c18.webp)
圖二 4D 重建的效果
當時看到之後是震驚, 還是震驚!就像當成特斯拉的BEV 一樣顛覆。隨著越來越多的研究人員在這個方向不斷發力,有很多優秀的研究呈現出來。UniSim 的自動駕駛仿真系統, 具備 重放,動態物體行為控制, 自由視角渲染等功能(這應該是每一個訓練模型的同學都想擁有的) 。
![](https://img.jasve.com/2024-3/e48071e4f8a0b77344fd72d661e6a859.webp)
還可以對lidar 進行仿真。
![](https://img.jasve.com/2024-3/1e8686b24deb3395a711cd438c84b4ac.webp)
具體見: https:// zhuanlan.zhihu.com/p/63 6695025 . 這個方向還有更多的的類似的研究。
![](https://img.jasve.com/2024-3/e385af72f76e10c313234b3f740031ce.webp)
NeuRAD: Neural Rendering for Autonomous Driving
![](https://img.jasve.com/2024-3/b58156b5be56edf9a3e08f0080e1eb80.webp)
DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes 以上的方法都大多和Nerf 相關,整個pipeline 都比較重。還有另一個方向,基於擴散的研究方向。目前也取得了不錯的研究。
![](https://img.jasve.com/2024-3/12185da0f95f42f2dd7a7314ea822e02.webp)
BEVControl: Accurately Controlling Street-view Elements withMulti-perspective Consistency via BEV Sketch Layout
![](https://img.jasve.com/2024-3/4e37de96e3f534c77e3dbd8321ccc4cb.webp)
BEVControl: Accurately Controlling Street-view Elements withMulti-perspective Consistency via BEV Sketch Layout
![](https://img.jasve.com/2024-3/280a0614a7ded0e97c8e841c156d92de.webp)
< MagDriver MAGIC DRIVE : STREET VIEW GENERATION WITH DIVERSE 3D GEOMETRY CONTROL >
技術發展太快了,傳感器仿真的門檻正在降低,有可能24年自動駕駛標註行業會出現一些顛覆性的產品出來!
寫在最後
歡迎star和follow我們的倉庫,裏麪包含了BEV/多模態融合/Occupancy/毫米波雷達視覺感知/車道線檢測/3D感知/多模態融合/線上地圖/多傳感器標定/Nerf/大模型/規劃控制/軌跡預測等眾多技術綜述與論文;
推薦閱讀
- 自動駕駛怎麽入門?近30+感知/融合/規劃/標定/預測等學習路線