自动驾驶系统的组成：环境感知定位、规划决策、执行控制子模块，那么在这三方面，不仅存在技术的挑战，而且还针对中国国情，比如复杂的道路环境，就得针对感知提出了更高的要求 。
自动驾驶车辆的环境感知是在多传感器系统的基础上，比如从里程计、相机、雷达、惯性测量单元等传感器中得到感知信息且进行融合，通过这种方式来表征环境．多传感器系统能够为后面的位置、航迹的估算来提供汽车的运动信息 ．其中建图的结果可以用作环境的表示、建立与定位之间的关系． 在得到汽车的周围环境、位置以后，决策规划会规划出很多条采样轨迹，从而选一条安全的轨迹，计算出可行加速度、速度．执行控制按照规划获得的轨迹、车辆状态看来实现自动的驾驶．
在中国的城市环境中，其中不确定性的因素会对自动驾驶系统中的每个模块产生一定的影响．比如定位模块，由于GPS的灵敏度、环境天气等不确定性因素都会引发汽车自身位置出现定位的误差 ．其次是感知模块，传感器存在不确定性、环境噪声，这些都会引发障碍物位置检测不准、误检、漏检，出现碰撞的事故问题．
这个感知与定位会直接与环境地图的构建、精度相关．其中雷达也具有不确定性，比如雷达的单次扫描结果可能出现噪声引发的空间上的误检，但是2帧间的信息丢失是因为它固定存在的扫描时间 ．通信系统引起的不确定性会引起随机性、滞后性，尤其是主体车辆与道路智能交通设施、周围交通参与者间的交互，很难精确的收集到其他交通参与者的意图．就算是以上的不确定性可以经过技术性手段来进行良好的处理，然而控制模块还约束于运动模型本身受微小扰动的影响，对噪声敏感，无法非常短的时间内达到预期的速度、加速度．
关于感知能力的极限涵盖： 小型障碍物检测 、状态异常的交通信号灯
其一，小型障碍物不仅涵盖体积较小的物体，也涵盖体积较大然而在车辆行驶方向上投 影面积较小的物体。
体积较小的典型障碍物，比如纸箱、木块、三角锥桶、塑料袋等。 此类障碍物的种类多、随机性大、形状奇特，人工智能的视觉识别模型较难去积累充分的数据来进行专门的训练。除此以外，因为障碍物的体积小、靠近地面，则会出现毫米波雷达的回波信息、激光雷达的点云信息较少的情况，易被算法视作噪声过滤掉，那么传感器一样很难对这类物体去进行有效的识别。
另外，在车辆行驶方向上投影面积较小的障碍物，比如钢筋、拖车车尾等超出车身的物体。此障碍物的形状千奇百怪，那么激光雷达、毫米波雷达、摄像头等传感器对其识别也会出现一定的困难。
其二，关于状态异常的交通信号灯，在道路两侧的智慧基础设施的覆盖度当下仍有一定的限制，那么交通信号灯主要是运用人工智能的算法，通过摄像头的方式来进行识别 。此解决方案面临的关键挑战，比如涵盖交通信号灯类型存在地域的差异，很难去确保模型训练数据集的完备性；交通信号灯可能被别的车辆、路侧绿化进行遮挡；交通信号灯出现故障、缺陷而引起识别的困难问题。
