10月18日消息,先来看一段“视频”,有没有看出什么不对劲的地方?
其实,这仅仅是由一组照片渲染出来的(右下角为拍摄照片)!
生成的也不仅仅是一段视频,更是一个3D场景模型,不仅能任意角度随意切换、高清无死角,还能调节曝光、白平衡等参数,生成船新的照片:
在完全不同的场景下,例如一个坦克厂中,同样能用一组照片渲染出逼真3D场景,相同角度与真实拍摄
要知道,之前苹果虽然也做过一组照片生成目标物体3D模型的功能,但最多就是一件物体,例如一只箱子:
这次可是整个3D场景!
这是德国埃尔朗根-纽伦堡大学的几位研究人员做的项目,效果一出就火得不行,在国外社交媒体上赞数超过5k,阅读量达到36w+。
那么,这样神奇的效果,究竟是怎么生成的呢?
装机猫用照片还原整个3D场景
然后,包含点云等信息的场景数据会被输入到流水线中,进行进一步的处理。
流水线(pipeline)主要分为三个部分:可微光栅化器、神经渲染器和可微色调映射器。
首先,利用多分辨率的单像素点栅格化可微渲染器(可微光栅化器),将输入的相机参数、重建的点云数据转换成稀疏神经
从数据来看,无论是火车、操场、坦克还是灯塔场景,在ADOP模型的渲染下,在VGG、LPIPS和PSNR上几乎都能取得最优秀的结果(除了坦克的数据)。
不过,研究本身也还具有一些局限性,例如单像素点渲染仍然存在点云稀疏时,渲染出现孔洞等问题。
但整体来看,实时显示3D场景的效果还是非常出类拔萃的,不少业内人士表示“达到了AI渲染新高度”。
已经有不少网友开始想象这项研究的用途,例如给电影制片厂省去一大波时间和精力:
(甚至有电影系的学生想直接用到毕设上)
对游戏行业影响也非常不错:
在家就能搞3A大作的场景,是不是也要实现了?简直让人迫不及待。
还有人想象,要是能在iPhone上实现就好了(甚至已经给iPhone15预定上了):
对于研究本身,有网友从行外人视角看来,感觉更像是插帧模型(也有网友回应说差不多是这样):
也有网友表示,由于需要的
虽然目前作者们已经建立了GitHub项目,但代码还没有放出来,感兴趣的同学们可以先蹲一波。
至于具体的开源时间,作者们表示“会在中了顶会后再放出来”。(祝这篇论文成功被顶会收录~)
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,请发送邮件至 55@qq.com 举报,一经查实,本站将立刻删除。转转请注明出处:https://www.szhjjp.com/n/37062.html