特斯拉为什么要“抛弃”毫米波雷达？

5月25日，特斯拉官方博客宣布，Autopilot正在向基于摄像头的特斯拉视觉系统过渡。

2021年5月起，北美制造的Model 3和Model Y将不再配备毫米波雷达。这些车型将通过特斯拉的摄像头视觉和深度神经网络支持Autopilot、FSD全自动驾驶和一些主动安全功能。

单价300人民币左右的前向雷达，销量超过45万辆/年(2020年数据)。对于特斯拉的毫米波雷达供应商、顶级Tier 1供应商大陆集团来说，中途失去一个过亿的订单，真的不是一个令人愉快的消息。

尽管特斯拉明确表示计算机视觉和深度神经网络处理将实现主动安全/自动驾驶/FSD的感知需求，但各方立即在博客上做出了回应。

美国高速公路安全管理局(NHTSA)官网对2021的Model 3和Model Y的主动安全功能页面进行了修改，包括前向碰撞预警(FCW)、自动碰撞制动(CIB)和动态制动辅助(DBS)，并明确指出，2021年4月27日之后生产的车型将不再配备。

与此同时,《消费者报告》宣布暂停2021车型3作为“推荐”，美国公路安全保险协会(IIHS)取消了车型3的最高安全评级。

简单总结一下，特斯拉说我们去掉了毫米波雷达，通过摄像头实现了雷达之前的能力，但是大家只听到了前半部分。

在我看来，主要的民用和监管安全机构现在都对特斯拉过敏。事实上，如果梳理全球最大的视觉感知供应商Mobileye多年来的培育，就是一部逐渐将雷达移出汽车主动安全范畴的发展史。

但是事情越来越糟。特斯拉首席执行官埃隆·马斯克(Elon Musk)不得不通过Electrek驳斥这一传言:所有主动安全功能在新下线的车型中都有效，NHTSA将在下周重新测试新车型。目前去掉雷达的车型都是标配这些功能。

然而，公众的疑虑并未消除。比如雷达擅长的障碍物距离和速度的测量，恰恰是相机的传统弱项目。特斯拉是怎么解决的？

或者说，两个传感器比一个传感器好，即使摄像头能做雷达做的工作，两个传感器在一起不是也能很好的探测吗？

下面就来说说这些问题。

我们需要了解雷达的技术原理及其在自动驾驶中的作用。

毫米波雷达通过发射电磁波信号和接收目标反射信号，可以获得车体周围其他障碍物的相对速度、相对距离、角度和运动方向。

通过对上述信息的处理，可以为汽车配备一系列主动安全功能，如自适应巡航控制(ACC)、前向碰撞预警(FCW)、辅助变道(LCA)、自动跟车(S & G)甚至盲区检测(BSD)等。

那么，特斯拉是如何通过摄像头获取上述信息的，比如，如何判断前车的距离？

2020年8月21日，埃隆在推特上表示，通过纯视觉进行精确的距离计算是基础，其他传感器可以提供帮助，但那不是基础。他回复的博文介绍了特斯拉的一项专利，名为利用图像数据估计物体属性。

13年4月，特斯拉Model 3车主特里斯坦·赖斯(Tristan Rice)，脸书分布式AI和机器学习软件工程师“黑进”自动驾驶仪的固件，通过机器学习揭示了特斯拉取代雷达的技术细节。

Tristan表示，从新固件的二进制文件中可以看出，Autopilot的深度神经网络增加了许多新的输出，包括许多传统的雷达输出数据，如距离、速度和加速度等。

深度神经网络能否从静态图片中读取速度和加速度？当然不是。

特斯拉训练了一个高度精确的RNN，通过基于时间序列的15张照片/秒视频来预测障碍物的速度和加速度。

什么是RNN？RNN的关键词是预测。递归神经网络，顾名思义，是基于循环神经网络来传递和处理信息，通过“内存”来处理任意时间序列的输入序列，从而准确预测接下来会发生什么。

英伟达的AI博客曾经举过一个经典的例子:假设餐厅供应同样的菜肴，比如周一的汉堡，周二的玉米卷，周三的披萨，周四的寿司，周五的意大利面。

对于RNN，输入寿司，求“周五吃什么”的答案，Ta会输出预测结果:意大利面。因为RNN已经知道这是一个订单，而周四的菜刚刚做好，所以周五的下一道菜是意大利面。

对于自动驾驶的RNN，给定当前汽车周围的行人、车辆和其他障碍物的移动路径，RNN可以预测下一步的移动轨迹，包括位置、速度和加速度。

事实上，在5月25日正式宣布拆除雷达之前的几个月，特斯拉一直在让其RNN与全球舰队中的雷达并行运行，并通过校对雷达输出的正确数据和RNN的输出结果来提高RNN预测的准确性。

顺便说一下，特斯拉在中国的交通条件下，通过对经典的Gassel处理进行类似的路线替换，取得了更好的性能。

特斯拉AI高级总监Andrej Karpathy在CVPR 2021的在线演讲中透露，特斯拉已经取代了传统的规则算法来识别超车。

具体来说，Autopilot之前对加塞者的检测是基于一个书面规则:首先要识别车道线，同时要识别和跟踪前方的包围盒，在检测到前车速度达到加塞者的水平速度阈值之前，不得执行加塞者命令。

现在，Autopilot已经去除了这些规则，完全通过RNN，基于标注的海量数据，做出前车的行为预测。如果RNN预测到前面的车会堵车，就会执行Gassel指令。

这是特斯拉在过去几个月里大大提高了对Gassel的认知度的技术原理。

上面提到的特斯拉专利详细解释了特斯拉培训RNN的运作形式。

特斯拉会将雷达和激光雷达(非生产车队，特斯拉内部的Luminar激光雷达车队)输出的正确数据与RNN识别的物体相关联，从而准确估计物体属性，如物体距离。

在这个过程中，特斯拉开发了工具，可以自动收集和关联辅助数据和视觉数据，无需人工标记。此外，经过关联后，可以自动生成训练数据来训练RNN，从而实现对对象属性的高精度预测。

由于特斯拉在全球的车队规模已经超过654.38+0万辆，所以在海量场景数据的训练下，特斯拉能够快速提升RNN性能。

一旦RNN将预测精度提高到与雷达输出相同的水平，将对毫米波雷达形成巨大优势。

这是因为特斯拉Autopilot只配备了前向雷达，对于在城市工况下向四面八方奔跑的行人、骑自行车的人和骑摩托车的人来说，都很难准确地全部预测到。即使是正前方、在其45°探测范围内的障碍物，只要两个障碍物的距离和速度相同，自动驾驶仪之前携带的雷达也无法分辨。

Autopilot的八个摄像头实现了对车身周围的360度覆盖，其编织的BEV鸟瞰神经网络可以无缝预测全车任意方向多个障碍物的下一步移动轨迹。

那特斯拉为什么不保留雷达，用雷达和摄像头两个传感器来双重检查呢？

ElonMusk详细解释了他对雷达和相机的看法:

这种说法看起来很微妙。我们之前的文章《特斯拉:我为激光雷达代言》曾经写过埃隆·马斯克对毫米波雷达的态度。在上述言论中，他也没有“宣判”雷达在特斯拉的死刑。