8
读 Self-Supervised 3D Mesh Reconstruction from Single Images
source link: https://jyzhu.top/2021/10/21/Self-Supervised-3D-Mesh-Reconstruction-from-Single-Images/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
作者：Tao Hu, Liwei Wang, Xiaogang Xu, Shu Liu, Jiaya Jia
发表： CVPR 2021
Github链接： https://github.com/dvlab-research/SMR
如果你去做这个任务，会怎么做？作者做的方法和你想的有什么差异？
- 现在的单视角3D重建方法，通过仅仅对2D图像进行标注，已经可以做到重建物体的形状和质地了。但是如果没有3D层面的监督，效果不是很理想。
- 通过插补和预测生成的3D标注应该是一致的；所有图像的地标（landmark）的特征应该是一致的
What：
- 提出一个自监督 3D Mesh 重建方法（Self-supervised Mesh Reconstruction, SMR）
- SMR只需要轮廓 mask 作为标注，就可以重建自然界的物体，比如鸟、牛、自行车
- 这个方法在多个数据集上，都提升了2D有监督和无监督的3D mesh重建效果
- 这个方法还可以迁移到其他图像分析任务上，比如 novel view generation, shape transfer,和 texture transfer
读前疑问：
- 自监督是怎么应用在这里的？想不通哦
- landmark 的用途是什么？
- 我猜这里是不是使用插补和预测的方法，根据2D标注生成了3D标注呢？
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK