自动驾驶汽车是一台高性能的边缘计算设备。

为了验证自动驾驶汽车是否具有深入洞察推理性能，MLPerf组织发起了一项MLPerf Inference测试，该组织为了能够让机器学习处理器的基准测试也像CPU那样，囊括了该行业中的所有知名企业，比如英特尔、英伟达、阿里、Google和百度。

MLPerf Inference是测试推理性能的通用方法，通过边缘计算等各种场景中的多项基准测试，验证一项解决方案是否能够出色地完成现如今汽车所需的多项任务，最终将成为衡量从低功耗SoC中的NPU到数据中心高性能加速器的标准。

其中，MLPerf Inference 0.5 基准测试套件成绩已经公布，来自英伟达的NVIDIA Xavier系统级芯片和Turing GPU在在业内首个独立AI推理基准套件MLPerf Inference 中大获成功。

MLPerf 0.5推理测试是一套用于评估此类复杂工作负载的基准测试，它通过边缘计算等各种场景中的多项基准测试，验证一项解决方案是否能够出色地完成现如今汽车所需的多项任务，而不仅仅只是一项任务。

推理指的是在实时生产系统中，通过运行AI模型，从大量数据中筛选出可执行洞察的过程。

MLPerf通过五项基准用于评估三个AI应用性能，分别是图像分类、目标检测和翻译。该基准所定义的服务器和线下场景与数据中心应用的关联度最高，而单流和多流场景则用于自动驾驶汽车等边缘设备。

MLPerf Inference 0.5涵盖了数据中心服务器以及边缘和移动芯片系统场景。

我们知道未来汽车将能够与人类驾驶员进行对话，因此需要配备先进的语音识别、自然语言处理和文本-语音转换功能，而且这些功能全都要求低延迟。

此外，在车内还有用于监测驾驶员的深度神经网络，包括可以判定头部姿势、检测眨眼情况和读懂唇语的神经网络。

这些功能各异的神经网络系统将通过一系列不同类型的神经网来处理各种类型的数据。此类网络需要强大的处理性能来为自动驾驶汽车提供具有智能语音控制功能的用户界面。

但是，当所有制造商都表示其未来处理器所达到速度TOPS会越来越高时，我们如何能确定这些处理器能够实现其所许的承诺？ 

显然，这不仅涉及到处理器的原始峰值性能，还涉及到这些处理器如何处理AI工作负载。 

可以说，MLPerf基准就是行业内评估AI推理性能的一种方法。

对于芯片公司来说，用，MLPerf基准进行验证他们能够更加清楚自己和竞争对手所处的位置，更重要的是，机器学习优化的开放性性质意味着芯片公司还有大量空间来优化其系统以进行将来的测试，以及设计更好的新硬件。

目前，英伟达是14家企业机构中唯一一个提交了全部五项MLPerf 基准测试结果的AI计算平台公司。

英伟达的数据中心场景基准测试结果排在第一位，Turing GPU成为市面上单处理器性能最高的产品 。

结果显示，Xavier在边缘场景中的表现超过了市面上其他的边缘和移动芯片系统。

这一成就展现了英伟达在各种AI推理任务与应用场景中的地位，而AI推理对于自动驾驶汽车的安全行驶来说不可或缺。

可以说，未来的汽车和卡车将由运行着多种不同深度神经网络的AI超级计算机驱动。

这也就是为什么未来汽车将是一台高性能的边缘计算设备。

这台高性能的边缘计算设备除了应对各种路况，它能够接过控制权进行自动驾驶，还能监测驾驶员的反应并进行保护。

对此，汽车需要集成大量AI算法并在一台能够同时运行多个不同神经网络的高性能计算机上运行这些算法。

面对各种AI推理任务在测试中，英伟达DRIVE 同时运行多个深度神经网络，通过各传感器生成的海量数据感知车辆周围环境。

这些深度神经网络必须能够实时分析关键数据，以执行交叉路口识别和可行驶路线分类等各种不同的冗余功能。

这就是为何英伟达 Xavier的基准测试成绩对于汽车制造商而言如此重要，Xavier处理器在两种边缘场景（单流和多流）中都被评为性能最高的商用边缘和移动芯片系统。

目前，Xavier处理器驱动用于自动驾驶和智能驾驶舱应用的NVIDIA DRIVE AGX计算机。

这台AI超级计算机可同时运行多达20个深度神经网络，其中包括多种理解周围环境的模型。

比如，检测车道标记线的LaneNet、检测可行驶路径的PathNet、判定中心线的PilotNet、识别道路标志的SignNet、识别交通信号灯的LightNet、用于交叉路口检测的WaitNet、探测障碍物的DriveNet、检测可驾驶空间的OpenRoadNet 以及确认停车位位置的ParkNet等。

这些功能都是L2级别以上自动驾驶汽车必要能力。

可以认为，多流场景可以测试芯片能够处理数据源的数量，配备多种传感器的自动驾驶汽车是必须能够实时处理这些不同数据源的典型边缘设备。

与此同时，此次测试结果展示了英伟达处理器上 CUDA 和TensorRT软件的性能，它们提供了一个使我们在多个产品和应用中取得领先结果的通用平台，而这就是英伟达所独有的能力。 

在实际工作负载中，由于推理需要大量预处理和后处理步骤，因此其要求极为苛刻。

这就是为什么越来越多的行业选择使用高性能的英伟达平台来处理推理工作，其中包括BMW、Capital One、思科、Expedia、John Deere、微软、PayPal、Pinterest、宝洁、Postmates、Shazam、Snap、Shopify、Twitter、Verizon和沃尔玛等极具远见的的交通运输和科技公司。

未来，会话式AI将带来大量的机会以及技术方面的挑战，英伟达在这一领域已经做好准备。

英伟达DRIVE IX是一个智能体验平台，在AI驱动下可提供车辆与车内人员的交互功能。该平台通过嵌入式语音软件实现乘客和驾驶员与汽车的自然对话。

除了AI智能驾驶舱之外，英伟达还为会话式AI服务提供了经过优化的参照设计，比如自动语音识别、文本-语言转换和自然语言理解等。NVIDIA的BERT、GNMT 和Jasper 等AI模型开源优化帮助开发者实现顶尖推理性能。

英伟达表示，“NVIDIA Turing GPU和NVIDIA Xavier系统级芯片在MLPerf基准测试中取得了在各自细分市场的最好成绩。现如今，每天都有许多公司自称自己在AI技术领域取得了卓越的成果，令人难辨真假。MLPerf 0.5推理结果就是为了通过多项测试中的实际性能和表现辨别这些信息的真实性。测试结果表明，NVIDIA Xavier系统级芯片是未来汽车制造商的首选。”

返回第一电动网首页 >