1. 首页
  2. 大牛说
  3. 找来吴新宙,英伟达智驾点燃端到端

找来吴新宙,英伟达智驾点燃端到端

2025 财年一季度财报披露后,英伟达再度创造市值神话,股价一路狂飚,市值已达到 2.7 万亿美元,排名全球第三,仅次于微软与苹果。

然而,营收创新高背后,是一直未能撑起增长曲线的汽车业务。

财报披露,今年一季度 260 亿美元的总营收,汽车业务只贡献了 3.29 亿美元,占比约为 1.2%。而去年汽车业务总营收为 11 亿美元,占总营收 1.8%。

显然,在英伟达不断推出惊艳四座的 Orin、Thor 芯片的背景下,这点营收并不能满足英伟达对于汽车业务的野心。

尤其面对智能汽车市场渗透率不断走高,英伟达需要尽快加强竞争力,把汽车业务的蛋糕进一步做大。

在这样的背景下,英伟达迎来了吴新宙这一核心角色。

作为前小鹏自动驾驶的灵魂人物,吴新宙被挖到英伟达主要源于其三点特质:

  • 懂软件落地。在英伟达芯片 Xavier、Orin 的基础上,吴新宙帮助小鹏全栈自研软件,见证小鹏汽车记忆泊车、NGP、LCC 增强版等产品的发布,这种实战经验无疑为英伟达所缺。

  • 懂整合资源。先后担任高通自动驾驶业务负责人、小鹏自动驾驶副总裁,吴新宙在芯片公司、车企的丰富经验,代表其擅于整合上下游产业链资源,是英伟达做出全栈方案的最佳领路人。

  • 懂中国市场。吴新宙在小鹏的 4 年时间,组建千人规模智驾团队,帮助小鹏城市 NGP 率先量产落地,能在「内卷」的中国市场突出重围,可见吴新宙深刻的市场洞察能力及高效的工作风格。

由此,吴新宙的加入势必要改写英伟达自动驾驶的不利局面。这位最适合英伟达自动驾驶的总舵手,先要解决英伟达在奔驰项目的燃眉之急,打出样本效应后,再不断强化英伟达全栈软硬件方案提供商的身份标签。

目前来看,英伟达汽车业务已经加强在 AI 生态赋能方面的布局。在具体方向上,吴新宙强调 AI 定义汽车,生成式 AI 抬高自动驾驶天花板,并且相信,端到端是自动驾驶的最终曲。

01、从软件到 AI,贯穿自动驾驶三阶段

在自动驾驶发展的三个阶段里,AI 的角色属性愈发凸显。

  • 第一代自动驾驶,完全基于规则,通过工程师堆积算法完成自动驾驶动作;

  • 第二代自动驾驶,AI 作用凸显,通过 AI 大模型逐步取代人工规则,完成预测、规划动作;

  • 第三代自动驾驶,完全迭代成端到端大模型的方式,用 AI 贯穿从感知到决策的全过程。

吴新宙对这个变化过程提出了一个明确观点,即从软件定义汽车到 AI 定义汽车

这两者的核心转变在于,将需要大量人工参与的工作转变成靠 AI 就能高效完成的任务。

具体的底层逻辑是,车端将数据反馈给云端,在云端集中进行自动驾驶汽车模型的训练与仿真,再把模型数据发回车端,进行 OTA 部署及更新。两端进行协同互补。

如果把这个路径与软件定义汽车的路径相对比,就能直观看出区别。

一个是在开发层面,靠软件定义汽车,需要将所有组件进行编码与工程设计,对于边缘场景识别及融合速度都是一项巨大工程。

而这些在 AI 定义汽车的时代,都能通过云端大模型训练解决,包括应对边缘案例、提高泛化能力等。

另一个是测试层面,在前者路径中,海量的大规模测试与运行,需要高效的基础设施进行支撑,也就意味着先要下大功夫打造好全链条闭环,才能支撑它后续保持飞轮的高转速。而后者路径的解决方式就很简单,直接在云端通过仿真数据完成验证。

吉利汽车研究院合成数据仿真部负责人梁振宝曾指出,采用大模型生成虚拟场景后,在测试场景覆盖度方面,提升了几十倍的速率不等。

过去软件定义汽车,将汽车从一个固定的硬件产品变成了可以自主学习、不断更新的用户产品;如今 AI 定义汽车,汽车再度从用户产品变成一项智能产品。

当然,这一实现离不开诸多车企的拥趸,以吴新宙的前东家小鹏为例。

在自动驾驶上,小鹏拿出了 ALL IN AI 的态度和决心,前不久的 AI DAY 上,小鹏发布了国内首个量产上车的端到端大模型:

感知神经网络 XNet+规控大模型 XPlanner+AI 大语言模型 XBrain,并推出了 AI 代驾、AI 泊车功能,以及将 AI 全面应用于座舱和智驾的 AI 天玑系统。

此外,小鹏对于 AI 技术投入也不遗余力,2024 年将投入 35 亿元用于智能研发,并新招募 4000 名专业人才,今后每年还将投入超过 7 亿元用于算力训练。

毫无疑问,小鹏对于 AI 的重投,是因为何小鹏和吴新宙的观点一致,智能汽车的新十年,将由 AI 定义。

包含小鹏在内,越来越多的车企都在朝着这一潮水方向涌去。

比如华为、地平线等智驾上游企业,通过自研出昇腾与征程芯片,构建出智能驾驶计算平台,为车企智驾量产提供核心助力。

蔚来、小鹏、理想、智己等车企,都已进入 AI 智驾的战备状态,纷纷上车端到端大模型,加快开城进度。

毕竟,当 AI 技术开启了一场大爆炸,自动驾驶迎来了自己的奇点时刻,谁都要谨防自己掉队。

02、生成式 AI,到底有何魅力?

AI 定义汽车的时代还有多久到来?

吴新宙认为这个期限是五年内,并声称「它将不可避免地发生。」

一个大背景是,以 ChatGPT 为代表的生成式 AI,正在大规模席卷而来,AI 技术抬升到了前所未有的高度,也进一步抬高了自动驾驶的天花板。

所谓生成式 AI,就是基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术,它由一系列深度学习模型构成。

而这种生成式 AI 广泛应用于互联网的虚拟世界,收集、生成的都是网络虚拟数据。

相当于自动驾驶搭了一座桥,将生成式 AI 与物理世界相连接,从此,生成式 AI 在物理世界中实现技术进化,将自动驾驶带向了端到端的路口。

也就是说,端到端自动驾驶,能够突破瓶颈走向落地,正是建立在生成式 AI 技术的革新上。

端到端自动驾驶相比传统自动驾驶,不进行感知、预测、规划、控制等子任务分切,而是直接从输入到输出,就像人类大脑,接受信息能够马上决策,它只需要解决感知问题与认知问题,这正是通往全自动驾驶的可靠、理想路径。

但这种路径的实现,需要大规模、多样化、高质量的训练数据做支撑,并且对于算力规模、算法路径都有极高要求。

因为在高阶自动驾驶,已经不能局限于简单的直行向右转、避开行人等行驶动作,而是要求 AI 进行类人思考,包括看到交警手势示意后向左转,遇到塑料瓶可以压过去,遇到救护车要让路等。

如果把这些场景放在传统的自动驾驶思维度思考,那每一个特殊场景都得设计一个从感知、预测到控制的驾驶策略。

显然,这不现实。

这种做法不仅训练成本高且低效,并且仅靠人工策略也无法穷尽每一个突发情况。

而生成式 AI 技术让能这些问题迎刃而解,其中,大语言模型(LLM)与视觉语言模型(VLM)代表性最强。

比如引入大语言模型(LLM)后,AI 能够从人类社会知识库中提取驾驶相关知识,进行辅助决策。即看到塑料瓶,AI 可以根据人类以往行为,判断出不必停下来的驾驶决策。

它还能够识别自然语言,即对于用户指令能够及时给予正确反馈,在车机交互上表现顺畅。

包括还有视觉语言模型(VLM),它结合了图像识别和语言处理能力,能够解决 AI 如何感知环境的问题。

通过摄像头捕捉的图像,识别路标、交通灯和行人等关键视觉元素,能够对视觉信息进行描述,或者直接利用这些信息应用在驾驶决策中。

这类大模型都基于 Transformer 架构,通过对大规模文本、图像等数据训练,具备强大的数据处理、生成能力。

生成式 AI 技术深度学习的逻辑,让 AI 模型不仅可以改善基准测试数据的质量,还能够自动创建、生成现实世界中难以或者无法采集的数据场景,解决数据匮乏、数据质量问题。

这也表示其能够应对长尾、边缘案例,进一步保证算法的准确性和安全性。

更重要的是,数据训练的成本降低了,效率提高了。

马斯克就曾透露,通过神经网络大模型,人工编程的 C++控制代码由 30 万行缩减到了 3000 行。

在生成式 AI 技术的加持下,端到端自动驾驶打破了传统瓶颈,从技术研发到落地量产都有了解法。

在吴新宙看来,端到端将成为自动驾驶的最终章

值得一提的是,吴新宙采用了一种更为理性的态度看待端到端自动驾驶的迭代问题。

一方面,端到端模型需要不停地优化和成长,它未来一定足够强大,但这个过程是需要与原有模型相辅相成,通过原有的模型和方法保证安全性,这是端到端自动驾驶通往大规模部署,成为主流的必要过程。

另一方面,针对「黑盒化」问题,可以分为两个维度解决:

  • 一个是结合传统的算法栈保证端到端模型安全,并判断模型决定的合理性,把双方有差异的地方作为输入。

  • 另一个是端到端大模型设置周边的输出点进行观测,比如可以观测 DEV 输出的结果,只进行部分训练等。在黑盒开启几扇窗,看到信号是怎样的模式。

在明确了当下端到端瓶颈的破解思路后,吴新宙对这一技术风潮抱有坚定信心,「端到端自动驾驶一定会到来。

此外,除了在端到端自动驾驶开启技术升维,生成式 AI 还能应用于座舱、汽车设计等汽车产业的各个环节。

比如问界利用生成式 AI 技术打造的时光壁纸,能根据时间段变化而动态变化,用不同的光影动态效果丰富车机场景;

极越的人工智能助手——SIMO,同样基于生成式 AI,能够集用车助手、出行助手、娱乐助手和百科老师于一身,拥有超过 1,000 种以上的专属能力,无论是交互效率还是创新体验都可圈可点。

在吴新宙眼里,生成式 AI 让很多不可能的事变成了可能,它极大地扩展了人类想象力的边界,高效地把各种各样的可能性通过最直观的方式,以最短的时间呈现给设计者。

甚至,它会推动人类的第四次工业化革命。

回望人类社会的前三次革命浪潮:

蒸汽机、电力和信息技术,每一次先进生产力要素的出现,都让行业发生颠覆式改变,而这种改变往往是质变。

这种质变可以简要概括为解放生产力,发展生产力。将这句话套在今天的生成式 AI 身上印证,会发现依然行得通。

生成式 AI 让机器不限于数据学习、处理,而是拥有了和人类大脑一样的思考与对话能力。

由此,亚当斯密的分工论的主角不再是人与人,而是人与 AI。

于是,高效率下,是持续灿烂的经济微笑曲线。

正如今天的自动驾驶,再一次解放了方向盘上的双手,AI 有了操控物理世界的可能。

03、英伟达的野心:自动驾驶全栈方案

回到英伟达本身,对于自动驾驶的落地方法论,英伟达已形成了系统性解法。

一是回归芯片本身,确保在车企自研芯片,英伟达也能拿出更大算力、更迭更快的产品。

端到端自动驾驶表现如何,取决于数据、算法、算力能不能跟上,这是底层基础。

反过来说,从 L2 迈向 L4/L5 的每一次进阶,对于数据、算法、算力都提出了更高要求。

而英伟达的芯片就正好掐中了算力命脉。以英伟达最新一代 DRIVE Thor 为例,算力已经达到了 2000 TOPS,这是上一代 Orin 芯片的 8 倍,更是特斯拉 FSD 的 28 倍。

DRIVE Thor 还引入了 Transformer 引擎,这意味着给深度神经网络装上了加速器,使其推理性能提升高达 9 倍。

很明显,英伟达打造了一颗适合端到端自动驾驶的芯片。

吴新宙甚至用三个「最」来定义它:最高算力、最高安全等级、对生成式 AI、LLM 给予最好支持

目前,基于 DRIVE Thor 确定量产合作的,既有上汽、长城等传统车企,也有极氪、智己、小米、蔚来、小鹏等新势力。

二是全栈软硬件服务方案

除了继续把芯片生意往纵向延伸,英伟达也在横向扩大自身在自动驾驶领域的应用边界。

这或许正是吴新宙对于英伟达的吸引力所在。前者在全栈全硬件系统,尤其是软件量产的经验,对于英伟达而言,是未来汽车业务长期发展的重要竞争力。

毕竟黄仁勋一直对汽车业务寄予厚望,「汽车将是我们下一个数十亿美元的业务。」

而在车企都在转身全栈自研,地平线、华为、高通、黑芝麻等芯片公司吞噬市场份额的背景下,英伟达也感到了一丝危机感。

因此,吴新宙的首要任务,就是把英伟达的资源整合调度起来,推行软硬件一体的全栈落地战略。

目前英伟达已经与比亚迪形成了端到端全栈式合作,包括车端芯片、DRIVE Orin、DRIVE Thor,智驾芯片、数据中心端的解决方案。

当然,量产竞争中,速度是决胜关键,吴新宙必须尽快让英伟达「卷」起来。

他将英伟达自动驾驶规划分为三步走。

第一步,产品在 L2 和 L2+系统上达到市场第一梯队;

第二步,在 L2+领域做出突破,到行业领先水平;

第三步,在 2026 年量产 L3,完全把人从系统中拿掉。

目前,英伟达整体上已经开始用生成式大模型完全布局,并将 VLM、LLM 运用到自动驾驶,把上游模型和下游模型都打通。

吴新宙对此很兴奋,他看到了在生成式 AI 的技术实现下,英伟达正一步步靠拢自动驾驶的真正价值。

「我们核心是让大家在车里不是开车,开车不是刚需,从 A 点到 B 点是刚需,玩手机也是刚需。」

据了解,吴新宙加入后将英伟达自动驾驶的弦崩到最紧,比如短期快速组建智驾核心团队,推行高工作强度与快节奏,努力落地 L2+智驾产品,加快全景迭代速度、实车路测进度等。

于英伟达而言,需尽快弥补自动驾驶全栈方案落地方面的不足,提升汽车业务营收占比;

于吴新宙而言,成为英伟达自动驾驶的领航员,首要意义在于转化车企经验,帮助英伟达这家芯片巨头明确车企诉求,击破二者之间的合作瓶颈与落地阻碍。

可以确定,吴新宙的加入,是英伟达实现全栈方案落地的核心筹码,也是抢占中国,乃至全球自动驾驶市场蛋糕的有力一击。

来源:第一电动网

作者:汽车之心

本文地址:https://www.d1ev.com/kol/232813

返回第一电动网首页 >

收藏
39
  • 分享到:
发表评论
新闻推荐
大牛作者

汽车之心

微信公号Auto-Bit。汽车之心是一家专注智能汽车与自动驾驶的媒体和知识服务平台,定位于推动汽车与科技的融合。我们的团队由一群热爱汽车与新技术的资深媒体人、产品人与自动驾驶行业从业者组成。欢迎添加微信号autobitxyz给我们提意见。

  • 873
    文章
  • 44514
    获赞
阅读更多文章
第一电动网官方微信

反馈和建议 在线回复

您的询价信息
已经成功提交我们稍后会联系您进行报价!

第一电动网
Hello world!
-->