最重要的是什么？在这里为你提供一个偏底层的视角（先简介概况再分析原因，最后给出结果）：（复制自我的另一个回答）
你可能知道感知层面有许多方案，例如Waymo的激光雷达占主体、特斯拉的摄像头占主体，或者说现在才浮出水面没多久的V2X下的运控平台，但是国内还停留在路旁设施与云端的通信方式选光纤还是实线这个层面的问题。
你也可能知道决策规划层面有许多的算法（可以参考我的博客https:// zhuanlan.zhihu.com/p/26 0707853 ），从前主机厂搞PID ➕ 状态机的无人驾驶（太水了也），现在华为、Momenta等科技公司与部分优秀主机厂搞学习类算法下的决策规划，做行为预测问题、分析多智能体交互问题。
那既然感知决策规划都有了那么多套方案，针对不同的子问题有那么多解决算法，那为什么'自动驾驶'还是一直只存在于耳边，存在于宣传呢？
答：可能大家第一时间会说：因为这个方案不行啊。（于是乎又寻找新的解决方案，V2X云控就是这么出现的，我敢保证这绝对不是最后一个方案突破点，一定会有下一个出现的，直到核心问题被解决之前）甭看方案、算法这么多，要解决的子问题一个个的被挖出来。实际上有用的核心算法一直没突破，子问题也只是锦上添花，非核心问题。那么核心算法是什么呢？核心问题又是什么呢？
答：1.学习类算法（基于神经网络的）的可解释性（science前一百重要待解决问题），人类绝对不会允许一个未达到全知的产品掌控自己的姓名。（可能有人会说，不要因为一点问题就停住了前进的脚步，我只能说这得看这个脚步想哪里迈进了，如果只是研究测试那随便，但是如果想面向世界，实现商用，那么这个问题就是要停下脚步）
2.决策、预测类算法本身的概率问题，用概率算法表述环境不确定性，在一定概率下仍可能发生不好的事情，人脸识别一百次错一次没啥，无人驾驶识别一万次错一次都有啥（撞车）。（也是因为这个原因，业界常说的问题之一就是法律法规问题，但是从来没有人说出该咋办，因为办不了，谁也不会主动担责任）。（可能有人会说，在算法后面加上个安全性检测模块不就行了，的确这也是业界目前的解决办法，但是别忘了，使用不确定性算法的原因就是环境的固有属性就包含不确定性，换句话说确定的算法搞不定不确定的环境，那么用个确定的安全检测模块怎么可能搞得定本身是不确定的环境呢）
3.数学层面优化问题的求解方式、效率，学习类算法本质也是个优化问题，然而发展了这么多年，优化算法出来这么多，求解算法还是哪几种：罚函数、有效集为核心的带约束求解思想，求梯度或者梯度近似的无约束求解思想。甭管建立什么天花乱坠的模型，最后还是这几个办法，如果这就可以的话，那较低复杂度的模型预测控制早就可以在固定场景下独当一面了。（可能有些人会说从建模、建约束的角度提高效率，但是这种方式都是针对某一环境或者某一种环境下才可生效，只有数学层面的优化才是全工况全范围下的提升）
