酷应用

SIGGRAPH 2020 | 自动生成prior的曲面网格重构技术

百家作者：机器之心 2020-05-30 15:14:55

机器之心报道

参与：小舟、Racoon

与使用预先设定的光滑 prior 不同，这篇 SIGGRAPH 论文使用 CNN 自动生成 prior，准确建模细粒度特征的同时过滤噪声与异常值。

近日，来自以色列特拉维夫大学的研究者提出了一种从输入点云重构曲面网格的技术——Point2Mesh。与之前方法需指定一个用于编码期望形状的 prior 不同，该研究使用输入点云来自动生成 prior，并称其为 self-prior。该 self-prior 将重复出现的几何形状由单一形状封装在深度神经网络的权重之中。

研究者对网络权重进行优化，使得初始网格变形，以收缩包覆（shrink-wrap）单个输入点云。由于共享的局部内核被用来拟合整个物体，因此考虑到了整个重构的形状。将多个卷积核在整体形状上进行全局优化，从而鼓励了局部尺度在形状曲面上的几何自相似性。

研究者展示了，与预先设置的平滑 prior（经常陷入不佳的局部最优）相比，使用 self-prior 收缩包覆点云能够收敛至令人满意的结果。传统的重构方法在非理想条件下性能会恶化，并且如非定向法线，噪音和部件缺失（低密度）等情况在现实世界的扫描里经常出现，而 Point2Mesh 在非理想条件下具有一定的鲁棒性。研究者在大量不同复杂度的各种形状上验证了 Point2Mesh 的性能表现。

论文地址：https://arxiv.org/pdf/2005.11084.pdf
GitHub 地址：https://github.com/ranahanocka/Point2Mesh/
项目页面：https://ranahanocka.github.io/point2mesh/

Point2Mesh 概述

Point2Mesh 是一种从输入点云重构曲面网格的技术。该方法从单个对象学习，通过优化卷积神经网络（CNN）的权重来使一些初始网格变形，以收缩包覆输入点云：

优化过的卷积神经网络权重充当 prior 的角色，对期望形状属性进行编码，研究者将其称为 self-prior。

该方法能够正常工作的前提是形状不是随机的，并且在多个尺度下具有的很强的自相关性。

self-prior 的核心是卷积神经网络的权重共享结构，该结构本身能够对重复出现与相互关联的结构进行建模，因此对于那些噪声和异常值这类不是重复出现的几何形状不是很敏感。

具体而言，Point2Mesh 通过优化卷积神经网络权重，不断迭代来使初始网格变形以收缩包覆给定的输入点云 X（如图 8 所示例子）来重构一张水密网格（watertight mesh）。正常的形状具有跨尺度的强自相关性，并且经常重复出现细粒度（fine-grained）的细节，然而噪声是随机且不相关的。这使得对重复出现的细粒度细节进行重构，同时消除噪声成为可能。

图 6 展示了 self-prior 可以消除甲龙背部和尾部重复出现的隆起上的不规则凸起，但保留了颈部的细粒度隆起。

图 6：输入点云从（真实）网格进行采样，并加入了噪声和缺失区域。

更进一步，注意 self-prior 在图 2 和图 7 上是如何补全缺失部分的，并与整体形状的特征保持一致。

图 2：使用平滑 prior 从有缺失区域的点云中重构完整的网格，该方法会忽略整体形状特征。

图 7：Point2Mesh 利用自相似性来更好地重建缺失的那一半拱顶。

图 4 显示了该方法的整体框架。

图 4：在 l 层上 Point2Mesh 框架概览。

实验

研究者通过一系列定性定量的实验验证了 Point2Mesh 的适用性，这些实验中涉及缺失区域、噪声、具有挑战的空洞等形状。研究者用来自 [Choi et al. 2016] 的真实扫描对象和来自 NextEngine 3D 的激光扫描仪对所提方法进行定性分析。研究者提供了额外的结果和在点云集上的量化实验，这些点云集是从真实网格曲面采样的。这些网格数据集包括：Thingi10k [Zhou and Jacobson 2016]，COSEG [Wang et al. 2012]，TOSCA high-resolution [Bronstein et al. 2006] 和 the Surface Reconstruction Benchmark [Berger et al. 2013]。