论文地址：ST-P3: End-to-end Vision-based Autonomous Driving via Spatial-Temporal Feature Learning
代码仓库：https:// github.com/OpenPercepti onX/ST-P3
引言
最近在学习ECCV2022自动驾驶方面的工作，看到一篇有意思的文章(如题)，看到这个P3（perception，predict，planning） 聪明的你大概明白了主要的工作，类似的工作还有MP3,而这个ST是时空(Spatial-Temporal)特征的含义。论文的工作很丰富，但是我还是想先提一下论文存在的问题。
问题1：表述存在问题
如下图，原文表述子图b是预测之后的地图表示，但依我的经验看，该图应该是nuScenes数据集map接口渲染的标签结果，不是完全真实推理的预测结果。这部分应该是作者的笔误(推测)
问题2 ：缺少forward时间方面的消融实验
论文中借鉴了fiery中的关于future prediction的工作，但实际情况是，因为这部分模块的存在，在计算时间方面不具备优势，甚至很难真正的上车使用。所以，可以推断ST-P3的时间方面应该不是论文的亮点，但还是希望能在时间方面做一个消融实验，以便大家能更全面的了解算法的性能。
论文的主要工作
perception： 为了更好的进行时空特征融合，提出egocentric aligned accumulation，先进行lift将2d->3d然后再目标特征的对齐。
prediction ：预测模块融合了两路信息，一路是t时刻的障碍物，另外一个是t-n时刻的障碍物位置，通过GRU单元进行特征融合从而进行障碍的预测。这个模块应该很影响算法的执行效率。
Planning ：以规则和模型学习两种算法为基础，确定路径规划的代价函数，并通过前视图的特征提取进行模型学习，完成轨迹优化。
论文的超参数：
backbone：EfficientNet-B4
head net: resnet18
硬件：4张v100
bev分辨率：以自车为中心上下左右50米(nuScenes);以自车为中心上下左右20米(carla);
损失函数的定义：
实验部分：
实验1：在nuScenes数据集上的开环实验
开环应该指的是perception，predict，planning三个模块针对性的算法验证过程。
从这个perception结果上来看，提升确实不够明显，毕竟一顿操作后。但是整体看来，工作还是有效的。
实验2：在carla仿真环境下的闭环实验
闭环我推测指的是整个系统端到端的实验。
总结：
论文整体工作丰富，但是还存在一些问题，瑕不掩瑜，还是得感谢作者的工作。也希望大家在看完论文后能就上述两个问题留言讨论，我的各人见解不一定准确。
往期回顾：
自动驾驶开发者说|前沿|ECCV2022有哪些自动驾驶方面的工作？
自动驾驶开发者说| 前沿 | CVPR2022有哪些自动驾驶方面的工作？
自动驾驶开发者说| 求职 | 2022年如何找到优秀的自动驾驶公司？
自动驾驶开发者说|技术栈|入门感知模块需要储备哪些知识？
自动驾驶开发者说|前沿|基于BEV的自动驾驶会颠覆现有的自动驾驶架构吗？
自动驾驶开发者说 | 前沿|如何定义&检测&解决Corner Cases？
自动驾驶开发者说| 前沿 | 2022年ViT(vision transform)如何应用在自动驾驶任务上？
自动驾驶开发者说| 前沿 | 近两年有哪些ViT(Vision Transformer)的改进算法？
自动驾驶开发者说 | 前沿|如何进行LiDAR-Camera（雷达-相机）的联合标定？
自动驾驶开发者说|前沿|如何用360度全景图来深度估计？
自动驾驶开发者说|前沿|如何进行多传感器的融合？
自动驾驶开发者说| 前沿 |如何利用ViT(vision transformer)进行全景图像的分割？
自动驾驶开发者说|前沿|如何结合深度信息进行道路区域分割？
自动驾驶开发者说|数据集|CVPR2022有哪些数据集方面的工作(一)
自动驾驶开发者说 | 数据集 | 如何使用KITTI数据？
自动驾驶开发者说|高精地图(1)|如何采集处理高精地图的原始数据？
自动驾驶开发者说| 仿真 | 如何利用开源的自动驾驶仿真环境？
自动驾驶开发者说|仿真|如何安装配置lgsvl-apollo联调环境？
自动驾驶开发者说|框架|如何用vscode调试apollo？
自动驾驶开发者说|框架|如何单独运行apollo相机感知模块？
自动驾驶开发者说|框架|如何找到apollo感知模块的爽点？
自动驾驶开发者说| 框架 |如何快准狠的安装apollo6.0？
自动驾驶开发者说|框架|如何在apollo中添加自己的USB摄像头？
自动驾驶开发者说|框架|如何理解Apollo感知模块的配置文件？
自动驾驶开发者说|行业|如何看待特斯拉传感器的部署？
自动驾驶开发者说|行业|如何看待无人驾驶汽车的发展？
自动驾驶开发者说| 工具 |如何快速上手&运用ROS1？
CVPR2022 |自动驾驶|BEV感知|Cross-view Transformers for real-time Map-view Semantic Segmentation
CVPR2022 |目标检测-多模态|CAT-Det: Contrastively Augmented Transformer for Multi-modal 3D Object Detection
CVPR2022 |自动驾驶 | 轨迹预测|Forecasting from LiDAR via Future Object Detection
CVPR2022|自动驾驶 | 极端天气点云检测 | LiDAR Snowfall Simulation for Robust 3D Object Detection
