10月28日消息,
谷歌DeepMind于周二推出最新世界模型Genie4,目前处于研究预览阶段。该模型能够生成迄今拟真度最高、可交互的虚拟世界,用户可在模拟运行过程中输入提示词来修改场景,涵盖实时调整天气、镜头角度或新增人物与物体等自由形式编辑操作。Genie4还能生成与虚拟世界同步的实时音频,包括音乐、环境音以及可交互对话,最长可维持两分钟连贯不变的场景,时长是前代模型的两倍,物理效果表现更好,虚拟人物也更加贴近真人。
谷歌大模型Gemini与Genie4的集成度进一步提高,Gemini相当于导演,负责规划步骤、校验画面帧,Genie4则负责生成视觉内容。在一项与Gemini机器人项目相关的研究实验中,Gemini4Argon模型把任务拆解成多个步骤,再由Genie4进行实时仿真,展示了在真实世界开展机器人测试前先在仿真环境里验证相关场景的可行方案。谷歌研究总监特贾斯·库尔卡尼表示,未来会越来越多地见到这类混合式世界模型,由Gemini编写代码和文本,Genie4实时读取这些内容,在不同抽象层级上对现实进行仿真。
和其他世界模型一样,Genie4主推的商业化落地场景包括游戏、交互式学习以及机器人领域。首批体验的用户还发现了电影原型制作这一潜在新用途。谷歌DeepMind工程师迭戈·里瓦斯表示,实时特性的价值在需要维持连贯创作思路的场景里体现得尤为突出,比如创意构思阶段、分镜脚本阶段等需要快速迸发创意的环节都适用。团队也承认Genie4仍存在短板:仿真运行时间越长,细节和物体就越容易出现偏移,目前还没有稳妥办法保证音频准确无误的同时让虚拟世界里的文字清晰可辨。未来几周内,该模型会陆续向谷歌AI Ultra订阅用户、Genie项目开放,Gemini应用程序接口和谷歌AI Studio的早期合作方也将获得使用权限。

来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。