英伟达首次实现SDF实时3D渲染,还是细节超清晰的那种

来源:量子位

鱼羊  发自 凹非寺

量子位 报道 | 公众号 QbitAI

不用苦等电脑渲染好几个小时,这样高清的 3D 渲染效果,现在英伟达做到了实时实现。

各种复杂样式、比例的外观都能 hold 住,阴影也不在话下。

细节处理上,还远胜前辈高手(橙色为DeepSDF)。

具体如何做到?

其实,同样是基于大名鼎鼎的神经 SDF(有向距离场)——计算机图形学中,常见的一种隐式曲面表示方法。

不过在这项研究中,大型神经网络的渲染不再必需,这就使得渲染效率提升了2-3个数量级

这也是首个基于SDF的3D高保真实时渲染方法。

相关论文一经发布,引起了不少来自谷歌、Epic Games等等机构的专家学者的关注。

一起来看详情。

用稀疏体素八叉树进行编码

SDF 可以表示为 f(x,y,z)=d,是一个表示位置的函数,返回值是到物体表面的最近距离。

在进行渲染时,SDF使用的是球体跟踪算法,该算法会沿射线执行距离查询。

而经典的神经 SDF 往往需要大型神经网络来进行编码,以便用隐式曲面来逼近复杂的形状,这就导致球体跟踪算法的代价很高。

图源:论文一作,twitter@yongyuanxi

为了解决这个问题,来自英伟达、多伦多大学和麦吉尔大学的研究团队提出,改用稀疏体素八叉树(SVO)来对几何形状进行编码。

基于八叉树的特征量,可以自适应地拟合具有多个离散细节层次(LOD)的形状,并通过 SDF 插值实现连续 LOD。如此一来,就可以用一个小得多的多层感知机(MLP)实现加速渲染。

这里面的一个难点在于,如何快速地在八叉树中完成查询。

为此,研究人员还提出了一种基于 GPU 的算法,通过深度排序的 SVO 遍历来高效地完成空间跳跃,实现实时渲染。

不仅更快,重建质量也更好

速度上去了,渲染的效果是否有所损失?

实验结果显示,与DeepSDF、FFN、SIREN和Neural Implicits等方法相比,该方法的不仅体积更小、推理参数更少,性能表现也更强悍。

从下图中可以看出,该方法在细节恢复上远胜FFN,还比FFN快了50倍,速度可以媲美NI。

在两个更复杂的示例中,这种细节方面的优势体现更加明显。

不过,作者也坦言,该方法对于大场景,或者非常薄的几何体并不适用,也无法运用传统方法对渲染出来的几何体进行变形、制作动画。

关于作者

论文第一作者Towaki Takikawa,目前在多伦多大学攻读CS博士。同时,他还在英伟达超大规模图形研究小组(Hyperscale Graphics Research group)工作。

他目前的研究兴趣,主要聚焦在机器学习驱动的3D几何处理算法上。

传送门

论文地址:

https://arxiv.org/abs/2101.10994

项目地址:

https://nv-tlabs.github.io/nglod/

PC4f5X

文章作者信息...

留下你的评论

*评论支持代码高亮<pre class="prettyprint linenums">代码</pre>

相关推荐