12月17日,苹果公司对外发布了一项名为SHARP的新型AI模型,该模型能在一秒内将单张2D照片转换为逼真的3D场景。苹果通过论文《一秒内实现清晰的单目视图合成》详细介绍了这一技术,它通过训练模型,接收用户输入的一张普通2D照片后,能在一秒钟内重建出具有真实物理比例的3D场景。与传统方案相比,SHARP将合成速度提升了三个数量级,实现了近乎实时的3D转换体验。
技术原理上,SHARP采用了3D高斯泼溅技术,将3D场景视为无数个带有颜色和光影信息的“模糊光团”。苹果通过使用海量的合成数据与真实世界数据训练SHARP,使其掌握了通用的深度与几何规律。因此,面对一张全新照片时,SHARP能通过神经网络的单次前馈传递,直接预测出数百万个3D高斯球的位置与外观,瞬间完成建模。
SHARP在成像质量上也树立了新标杆。根据苹果公布的论文数据,该模型在多个基准测试数据集上均取得了优异成绩。与此前业内最强的模型相比,SHARP将LPIPS降低了25个百分点至34%,同时将DISTS降低了21个百分点至43%。这意味着,由SHARP生成的3D视图在细节纹理和整体结构上都更接近真实世界,且具备绝对尺度,支持真实的相机移动模拟。苹果目前已将SHARP的完整代码及相关资源发布在GitHub平台,全球开发者均可下载测试。



来源:一电快讯
返回第一电动网首页 >
以上内容由AI创作,如有问题请联系admin#d1ev.com(#替换成@)沟通,AI创作内容并不代表第一电动网(www.d1ev.com)立场。
文中图片源自互联网或AI创作,如有侵权请联系邮件删除。