最近世界模型相关工作增加,也引起了大家对世界模型的探讨,是否会颠覆自动驾驶标注行业,今天的分享由知乎作者 @一介书生 投稿。
1: 数据标注面临的问题(特别是基于BEV 任务)
随着基于BEV transformer 任务的兴起,随之带来的是对数据的依赖变的越来越重,基于BEV 任务的标注也变得越来越重要。目前来看无论是2D-3D的联合障碍物标注,还是基于重建点云的clip 的车道线或者Occpuancy 任务标注都还是太贵了(和2D标注任务相比,贵了很多)。当然业界里面也有很多基于大模型等的半自动化,或者自动化标注的研究。还有一方面是自动驾驶的数据采集,周期太过于漫长,还涉及到数据合规能一系列问题。比如,你想采集一个平板车跨相机的场景,或者一个车道线城市多变少,少变多的场景,就需要采集人员专项去构建这样的场景。
关注知乎@自动驾驶Daily,第一时间获取自动驾驶感知/定位/融合/规控等行业最新内容2: 24年会是世界模型的奇点时刻吗?
世界模型这个概念太过于大,或者说成传感器仿真。在特斯拉AI day 上第一次见识到仿真对标注的颠覆
![](https://img.jasve.com/2024-3/71f4254d183aead4ff75cce17367f877.webp)
图1: 特斯拉的自动化标注效果
![](https://img.jasve.com/2024-3/ee38595c47cb8cde8d43c7f51cde2c18.webp)
图二 4D 重建的效果
当时看到之后是震惊, 还是震惊!就像当成特斯拉的BEV 一样颠覆。随着越来越多的研究人员在这个方向不断发力,有很多优秀的研究呈现出来。UniSim 的自动驾驶仿真系统, 具备 重放,动态物体行为控制, 自由视角渲染等功能(这应该是每一个训练模型的同学都想拥有的) 。
![](https://img.jasve.com/2024-3/e48071e4f8a0b77344fd72d661e6a859.webp)
还可以对lidar 进行仿真。
![](https://img.jasve.com/2024-3/1e8686b24deb3395a711cd438c84b4ac.webp)
具体见: https:// zhuanlan.zhihu.com/p/63 6695025 . 这个方向还有更多的的类似的研究。
![](https://img.jasve.com/2024-3/e385af72f76e10c313234b3f740031ce.webp)
NeuRAD: Neural Rendering for Autonomous Driving
![](https://img.jasve.com/2024-3/b58156b5be56edf9a3e08f0080e1eb80.webp)
DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes 以上的方法都大多和Nerf 相关,整个pipeline 都比较重。还有另一个方向,基于扩散的研究方向。目前也取得了不错的研究。
![](https://img.jasve.com/2024-3/12185da0f95f42f2dd7a7314ea822e02.webp)
BEVControl: Accurately Controlling Street-view Elements withMulti-perspective Consistency via BEV Sketch Layout
![](https://img.jasve.com/2024-3/4e37de96e3f534c77e3dbd8321ccc4cb.webp)
BEVControl: Accurately Controlling Street-view Elements withMulti-perspective Consistency via BEV Sketch Layout
![](https://img.jasve.com/2024-3/280a0614a7ded0e97c8e841c156d92de.webp)
< MagDriver MAGIC DRIVE : STREET VIEW GENERATION WITH DIVERSE 3D GEOMETRY CONTROL >
技术发展太快了,传感器仿真的门槛正在降低,有可能24年自动驾驶标注行业会出现一些颠覆性的产品出来!
写在最后
欢迎star和follow我们的仓库,里面包含了BEV/多模态融合/Occupancy/毫米波雷达视觉感知/车道线检测/3D感知/多模态融合/在线地图/多传感器标定/Nerf/大模型/规划控制/轨迹预测等众多技术综述与论文;
推荐阅读
- 自动驾驶怎么入门?近30+感知/融合/规划/标定/预测等学习路线