自動駕駛系統的組成：環境感知定位、規劃決策、執行控制子模組，那麽在這三方面，不僅存在技術的挑戰，而且還針對中國國情，比如復雜的道路環境，就得針對感知提出了更高的要求 。
自動駕駛車輛的環境感知是在多傳感器系統的基礎上，比如從裏程計、相機、雷達、慣性測量單元等傳感器中得到感知資訊且進行融合，透過這種方式來表征環境．多傳感器系統能夠為後面的位置、航跡的估算來提供汽車的運動資訊 ．其中建圖的結果可以用作環境的表示、建立與定位之間的關系． 在得到汽車的周圍環境、位置以後，決策規劃會規劃出很多條采樣軌跡，從而選一條安全的軌跡，計算出可行加速度、速度．執行控制按照規劃獲得的軌跡、車輛狀態看來實作自動的駕駛．
在中國的城市環境中，其中不確定性的因素會對自動駕駛系統中的每個模組產生一定的影響．比如定位模組，由於GPS的靈敏度、環境天氣等不確定性因素都會引發汽車自身位置出現定位的誤差 ．其次是感知模組，傳感器存在不確定性、環境雜訊，這些都會引發障礙物位置檢測不準、誤檢、漏檢，出現碰撞的事故問題．
這個感知與定位會直接與環境地圖的構建、精度相關．其中雷達也具有不確定性，比如雷達的單次掃描結果可能出現雜訊引發的空間上的誤檢，但是2幀間的資訊遺失是因為它固定存在的掃描時間 ．通訊系統引起的不確定性會引起隨機性、滯後性，尤其是主體車輛與道路智能交通設施、周圍交通參與者間的互動，很難精確的收集到其他交通參與者的意圖．就算是以上的不確定性可以經過技術性手段來進行良好的處理，然而控制模組還約束於運動模型本身受微小擾動的影響，對雜訊敏感，無法非常短的時間內達到預期的速度、加速度．
關於感知能力的極限涵蓋： 小型障礙物檢測 、狀態異常的交通訊號燈
其一，小型障礙物不僅涵蓋體積較小的物體，也涵蓋體積較大然而在車輛行駛方向上投 影面積較小的物體。
體積較小的典型障礙物，比如紙箱、木塊、三角錐桶、塑膠袋等。 此類障礙物的種類多、隨機性大、形狀奇特，人工智能的視覺辨識模型較難去積累充分的數據來進行專門的訓練。除此以外，因為障礙物的體積小、靠近地面，則會出現毫米波雷達的回波資訊、激光雷達的點雲資訊較少的情況，易被演算法視作雜訊過濾掉，那麽傳感器一樣很難對這類物體去進行有效的辨識。
另外，在車輛行駛方向上投影面積較小的障礙物，比如鋼筋、拖車車尾等超出車身的物體。此障礙物的形狀千奇百怪，那麽激光雷達、毫米波雷達、網絡攝影機等傳感器對其辨識也會出現一定的困難。
其二，關於狀態異常的交通訊號燈，在道路兩側的智慧基礎設施的覆蓋度當下仍有一定的限制，那麽交通訊號燈主要是運用人工智能的演算法，透過網絡攝影機的方式來進行辨識 。此解決方案面臨的關鍵挑戰，比如涵蓋交通訊號燈類別存在地域的差異，很難去確保模型訓練數據集的完備性；交通訊號燈可能被別的車輛、路側綠化進行遮擋；交通訊號燈出現故障、缺陷而引起辨識的困難問題。
