FSD对马斯克和特斯拉来说，将是其总体目标的关键一步，走通了，潜力无限。

视觉的能力，可以发挥到多大？

特斯拉正在一步步给出自己的答案。近日，特斯拉联合子公司DeepScale提交了一项新的专利申请，朝着Autopilot自动驾驶软件重新改写又迈进了一步。

去年10月，总部位于旧金山的DeepScale被特斯拉收购，以帮助开发自动驾驶技术。此前，这家初创公司的当家产品就是一款名为Carver21的自动驾驶AI软件。

此次，特斯拉的这项专利申请名为“用增强数据训练机器模型的系统和方法”，旨在改进Autopilot软件使用其8个摄像头识别环境的方式，也被称为“3D标签”。

一、感知，水很深

在典型的机器学习应用中，用于训练计算机模型的图像集可能代表在许多不同的环境中捕获的具有不同传感器特性的对象。

这些传感器在不同的外部参数方面也可能有所不同，例如成像传感器的位置和方向相对于拍摄图像时的环境。所有这些不同类型的传感器特性使得正确训练计算机模型变得更加困难。

换句话说，这意味着一个自动驾驶系统可以通过编程来识别特定物体的特征，但这些特征可能并不总是与摄像头在特定环境或情况下记录的特征相匹配，从而使传统的系统产生混乱。

特斯拉申请的专利列出了焦距、透镜类型、预处理或后处理、不同的软件环境和传感器阵列硬件可能是造成这种差异的原因。

根据专利申请，特斯拉和DeepSpace的解决方案在于，在软件中引入预增强成像，显示物体在不同环境中的表现。

这样做的目的是希望软件能够对不同的环境本身做出准确的修正。而随后的训练基于包括图像和图像增强的集合。

这意味着特斯拉的新软件将能够收集车辆环境的信息，计算条件如何影响成像传感器捕获物体的方式，增加捕获的图像，并相应地更新软件的参数来识别物体。

这款软件以及对Autopilot和3D标签技术的升级，可能意味着特斯拉在开发自动驾驶汽车的道路上迈出关键一步。

此前，特斯拉已经开始在所有新车配备全新自主研发的FSD芯片代替此前的英伟达芯片，专为全自动驾驶设计。

性能大幅提升是这款芯片的一大特点，除了能够改进特斯拉的现有的自动辅助功能，更重要的是迈向完全自动驾驶的关键一步。

在这一点上，Waymo和特斯拉应该说是走到了一起。

为了充分利用边缘场景，并进一步改善自动驾驶系统的感知，一直以来Waymo与来自谷歌大脑的团队合作，扩展自动数据增强研究，并在数据集上进行测试。

扩充数据背后的原理很简单：假设你有一张狗的照片。通过使用各种图像增强操作，如旋转、剪切、镜像、颜色变换等，可以对照片进行变形和变换，但这并不能改变这是一张狗的图像的事实。

在2019年，Waymo开始将自动数据增强技术应用到基于图像的分类和检测任务中，还包括如何改善激光雷达的3D检测能力。

数据效率的提高尤其重要，因为这意味着Waymo可以加快训练过程，改善第五代Waymo Drive系统的感知能力。

二、数据+神经网络驱动

不过，特斯拉显然还没有利用新的计算能力。2018年10月，特斯拉人工智能高级总监安德烈·卡帕西(Andrej Karpathy)表达了他对使用这款FSD芯片的渴望。

“我们训练大型神经网络运行良好，但由于计算限制，我们无法将它们部署到车队中。所有这些都将随着硬件的下一次迭代而改变。”卡帕西表示。

不过，到目前为止，在FSD上运行的神经网络和软件，似乎与在旧的英伟达硬件上运行的几乎一样。

一些行业人士质疑，特斯拉的软件和神经网络的开发落后于新硬件的部署。这一解释很快也得到了特斯拉CEO埃隆·马斯克的证实。

“我们的自动驾驶系统有一个相当重要的基础代码重写，把规划、感知、图像识别等等真正结合起来。”马斯克透露，新的神经网络正在吸收越来越多的问题。

比如，马斯克提到的3D标签技术，并称之为下一个里程碑式的技术，比以往的技术有两到三个数量级的标记效率的提高（从车身上搭载的外部八个摄像头同时进行）。

很快，在去年公司第四季度财报会议上，马斯克表示，核心的自动驾驶软件和人工智能团队非常强大，正在取得巨大进步。

我们才刚刚开始充分利用FSD的计算能力，消费者所看到的表面上的进步似乎是非常迅速的，但实际上真正发生的是拥有非常强大的基础软件。

所以，特斯拉正在对其神经网络架构进行基础性的改进，以及如何在车端进行实时推理（这在过去还不敢想象），包括如何给数据自动贴上标签，从而训练这些神经网络。

在整个重写过程中，用户可能不会看到他们使用的Autopilot软件有任何进展。特斯拉相关负责人表示，从重写开始到95%准备好用于量产部署，没有任何东西可以提前交付给用户。只有当软件开发人员跨过“最后一英里”时，才会看到明显的进展。

目前，特斯拉仍然手握全球最大的数据采集车队，这是其最大的领先优势。包括超过30万辆装有FSD芯片的新车和超过40万辆装有英伟达硬件的车队。

相比较而言，自动驾驶领头羊Waymo也仅仅只有1000多辆测试车。这为特斯拉的神经网络奠定了巨大的数据优势。

这意味着，特斯拉可以使用各种自动化技术来捕捉罕见的或令人困惑的视频数据。

此外，特斯拉的影子模式，也在借用驾驶员的人工标注工具。比如，当司机遇到一个神经网络检测不到的障碍物而停车，那么这个动作就会被视为一个标签。

实际上，许多司机的行为给他们周围的真实世界贴上了标签。特斯拉拥有70多万名免费司机，远远超过任何人工标注外包团队。

视频数据神经网络训练的一种新技术是自监督学习。自我监督意味着不用手工标签学习，比如从过去的视频帧中预测未来的视频帧。

或者，更准确地说，预测未来视频帧的多个可能序列，每个序列指定一个概率。这可以让神经网络对真实世界有更丰富、更健壮的理解。

一直以来，感知到决策的另一个瓶颈，就是预测。预测未来多种可能的行为，并为每种行为分配一个概率。考虑到车队可以实现实时运行预测，可以在任何时候触发上传，只要观察到未预测或低概率的行为。

最典型的案例，就是DeepMind的AlphaGo和AlphaStar，通过模仿顶尖玩家的技能，就可以超越人类的能力。

特斯拉也可以做类似的事情。通过模仿真人驾驶的方式，有可能通过强化来增强模仿，在这种情况下，学习是通过对一些既定目标的反复试验来实现的。

特斯拉正在做的工作就是把所有问题都变成一个学习问题，并收集大量数据。用卡帕西的话说，他的工作是用深度学习和神经网络（他称之为“软件2.0”）尽可能多地取代特斯拉传统的“软件1.0”。

这意味着，让特斯拉的自动驾驶系统更多地采用数据驱动和神经网络驱动是重写基础代码的主要驱动力。

三、全力以赴

另一个积极迹象是，特斯拉在自动驾驶方面的研发支出并没有受到太多的资金限制。在这一点上，很多传统汽车制造商已经开始做出让步。

去年四季度数据显示，特斯拉当季现金及现金等价物价值63亿美元，2019年全年的自由现金流为11亿美元。

管理层的指导方针是，公司在未来的季度和年度基础上，将基本实现GAAP净利润和自由现金流为正。马斯克一再强调，他正在寻求对业绩增长构成重大约束的领域投入更多资金。

全自动驾驶就是其中最大的未来利润贡献支撑点。

从估值角度看，全自动驾驶软件最明显的利好就是帮助特斯拉尽快推出Robotaxi服务。如果能够商业化，将在公司财务上发挥重要作用。

甚至有机构预测，特斯拉如何按照原计划推出Robotaxi服务，预测到2024年，将为公司获得额外的数千亿美元的收入。

一位特斯拉的工程师近日表示，“我们可以肯定，正在尽我们所能让FSD梦想成真。我们不断加班，能做多少就做多少，而技术本身也在不断发展。”

他透露，新的自动驾驶系统基本上消除了特斯拉过去在驾驶员辅助系统上犯的所有小错误。软件重写帮助特斯拉将其汽车的8个摄像头的视频输入合并成一个3D模型，使得数据处理更容易。

他还用一个形象的比喻来描述这种进步：人类的眼睛通常处理数据片段并将其发送给大脑，然后大脑将所有信息整合在一起，这样人类就能看到整个画面。

而特斯拉将能够处理来自所有8个摄像头的信息，并将它们拼接在一起，形成一个真正的360度图像。有了360度视图，就可以完整的绘制地图——而在此前的旧系统上，根本无法实现。

重写是从3D标记开始，这提高了标记每一帧的准确性。录像回放以检查标签的准确性。3.0的硬件版本在整个代码重写中起到了关键作用，而1.0或2.0版本没有能力处理那么多数据。

今年2月，马斯克在个人twitter上公开邀请有能力的人加入特斯拉的人工智能团队。目前，该公司正在集中全部精力兑现2020年释放FSD全部功能的承诺。

毕竟，FSD对马斯克和特斯拉来说，将是其总体目标的关键一步，走通了，潜力无限。