盖世汽车获悉 日前，小米汽车正式推出Xiaomi Auto World Model全新框架，将三维重建与视频生成进行深度耦合。与传统“重建+生成”简单串联的路径不同，该框架让两者在结构上互相约束：重建侧提供几何锚点，为生成“打地基”；生成侧补全未观测区域，为重建“扩边界”，共同抑制长时序漂移。
图片来源：小米汽车技术
世界模型被视为辅助驾驶的“大脑预演系统”，能够基于历史与当前观测，预测环境下一步演化，帮助车辆应对暴雨、落石、逆行等低概率高危场景。此前行业两条主流路线——重建（高保真但缺乏想象）与生成（能预测但易漂移）——各自存在短板。小米的一体化架构尝试将两者优势融合。
在技术实现上，重建模块WorldRec采用稀疏三维锚点表征，替代传统逐像素稠密高斯方法，通过多视角多时刻特征聚合与可见性加权融合，实现10秒视频重建仅需10秒。生成模块WorldGen经两阶段训练（全双向时序注意力预训练+因果微调与蒸馏加速），仅需4步去噪、0.19秒生成一帧，支持最长1分钟视频，可模拟罕见动物闯入、极端天气等长尾场景。
据小米公布，该框架在Waymo、nuScenes等主流基准测试中全面取得SOTA。其中WorldRec在Waymo数据集上PSNR达28.48，超出此前最佳方法；WorldGen在nuScenes上FVD达64.97，单视角生成速度较同类自回归方法快约5.6倍。
目前该框架已在小米汽车三大场景落地：合成数据生成（已交付超10万clips用于感知模型训练）、仿真测试（闭环复现真实事故）、辅助驾驶学堂（已上线全车型实景模拟功能）。
来源：第一电动网
作者：盖世汽车
本文地址：https://www.d1ev.com/news/shichang/300523
以上内容转载自盖世汽车，目的在于传播更多信息，如有侵仅请联系admin#d1ev.com(#替换成@)删除，转载内容并不代表第一电动网（www.d1ev.com）立场。
文中图片源自互联网，如有侵权请联系admin#d1ev.com（#替换成@）删除。
先估价再买车，买的放心开的安心
您的询价信息
已经成功提交我们稍后会联系您进行报价!
京公网安备
11010502033163号