Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans
Thanks authors'great work of this paper. And the following analysis is just my opinion, if you have another views, you can put forward your opinion and email me: cvhadessun@163.com.
nerual_1.jpg
Question
- 稀疏视角会引入--位姿歧义的问题(
ill-pose)
Contribute & Work
- 解决
ill-pose问题的思路是将稀疏视角的图像整合成一系列的视频帧，应该是使用时序的信息来解决稀疏视角的信息缺失问题。 - 提出了一
Nerual Body的网络框架（采用隐式表达的方式重建（PIFu-like））： 能够利用不同帧图像的特征来编码最后的网络输出. - 给出了一个多视角的多视角视频数据集-
ZJU-MoCap
Nerual Body
- 参数化的模型（SMPL）定点来定义
"Anchors", A-pose下的参数化模型
按照多视角估计的pose转换到该pose下，对应点查询图像提取的特征，然后送入MLP中隐式重建。
Analysis
- 按照论文来看，目前多视角整合，如果没有时许信息的化，还是多视角的思路，利用了参数化模型来联系稀疏视角的图像特征，完成重建任务。
- 论文中没有看到图像特征的处理过程。
- 如果结合时序信息来补充稀疏视角的信息，联系的纽带是可变换的参数化模型，是比较有意义的。
ZJU-MoCap
采用21个视角的多相机系统捕捉9个人的复杂动作的视频数据。
@inproceedings{peng2021neural,
title={Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans},
author={Peng, Sida and Zhang, Yuanqing and Xu, Yinghao and Wang, Qianqian and Shuai, Qing and Bao, Hujun and Zhou, Xiaowei},
booktitle={CVPR},
year={2021}
}
论文的信息量来理解整体的工作还是不足的，原文的代码已经开源，可以再深入理解。
