4月16日,英伟达研究人员推出了Lyra2.0系统,这一技术能够从单张照片生成跨度约90米的连贯3D环境,有效解决了现有AI模型在长距离漫游中的画面扭曲与遗忘问题。Lyra2.0系统通过存储每一帧的3D几何数据来解决记忆问题,当摄像机返回旧地时,系统能够调取历史空间信息作为参考,避免重复生成。此外,针对误差累积问题,研究团队在训练中让模型暴露于自身有缺陷的输出,使其学会识别并纠正质量下降,而非传递错误。
Lyra2.0系统在图像质量、风格一致性和摄像机控制等几乎所有指标上击败了GEN3C、Yume-1.5、CaM等6种竞品。其Fast版本在质量相当的情况下,视频生成速度提升了约13倍。生成的3D场景支持交互式探索,并可导出为网格格式用于NvidiaIsaacSim等物理引擎,这意味着训练机器人无需采集真实世界3D数据,可以在完全生成的虚拟环境中进行训练。



来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。