来自2018年发表在计算机图形学杂志TOP acm transactions on graphics上的论文《Appearance Modelling via Proxy-to-Image Alignment》（深圳大学）
3d重建的最重要的目的是让模型更加真实。这个真实不仅仅来源于形状，更来源于纹理。
从人脸来举例，比如妆发可以在很大程度上给你不一样的感觉。
比如下面这张图。
image.png
可见纹理对面部的影响非常大。
目前对脸部重建的重点是主要放在几何层面，比如3dmm关注的重点是对参数模型的重建，而缺乏对脸部纹理纹路的关注。
如果对纹理纹路深入挖掘的话，在3d层面上实现风格迁移，也是很有研究价值的方向。比如：
image.png
这篇论文主要是从计算机图形学的角度对模型进行渲染，我觉得这个过程是可以用神经网络来实现的。
摘要
事实上，由于现实世界的受到几何及光度的影响，非常不可预测。赋予3d模型更具有现实性的外表，是一项耗时且艰难的任务。
（目前用3dmm重建的脸部模型都是失真的。）
比如在制作3d电影的时候，动画工程师都是从现实中的事物取样，之后进行数字创造。
这里，这篇论文提出问题：
即使对基于图片的模型化已经过去了十几年，依然没有工具可以自动的提取事物的外表细节特征。
这篇论文提出了一种快速简单提取一个非参数化外表模型(Non parametric appearance model from a single photograph of a reference object ).
这个提取的过程是需要用户提供一个面片模型的（proxy），这个模型大体上和图片的事物相似。
因为这个模型只是大体相似，还需要对齐(align)和变形(deform)，以使它与参考事物更相似。
而且，一旦特征被提取，还可以用于其他不同事物上。
贡献
- 提出一个对齐的方法来对齐一个粗糙的mesh模型。
- 在mesh模型的基础上，同时提取光度，形状，和反射。
- 提出一个两步走的方法，将得到的2d图片的外表特征应用到3d物体上。
Overview
目的：生成一个新的工具，使用户可以生成一个富于细节的 外表有真实感的 3d物体，这个外表来源于与此物品相似的图片。
image.png
换言之，想学习一个Nonparametric appearance model 可以捕捉到外表与高层几何特征之间的关系。
输入：一张风格2d图片（a），和此图片中物体对应的粗糙3d模型（b）。
第一步：对齐。将粗糙3d模型（b）与图片对齐，（c）。
第二步：为了使提取的风格特征可以迁移到其他物体上，设计两步形变过程。（d）medium-scale deformation 小程度形变；（e）fine-scale displacement 精致替代。
第三步：将3d模型与2d图片里的物体进行拟合（f）。使用加强版的Barron and Malik's algorithm对输入图片提取光照，漫反射率，和深度map。生成的深度map比起最开始粗糙3d模型可以提供更多细节。
image.png
思考
目前3dmm关注的重点是对参数模型的重建，而缺乏对脸部纹理纹路质感的关注，以至于重建的3d人脸都是失真的。
如果对纹理纹路深入挖掘的话，在3d层面上实现风格迁移或者使预测人脸老化，都是很有研究价值的方向。
以这篇论文为例，它的输入一张风格2d图片（a），和此图片中物体对应的粗糙3d模型（b），这对于人脸3dmm模型来说，使非常容易得到的。
而且包括3ddfa模型，对齐这个问题在人脸上已经比较容易解决了。
一些细节问题可以慢慢解决，整个网络结构来说我觉得是可行的。
网友评论