Memory-agumented GAN
https://github.com/yiranran/Audio-driven-TalkingFace-HeadPose
Installation
pip install -r requirements.txt
Fine-tune on a target peron's short video
Conduct 3D face reconstruction
First should compile code in Deep3DFaceReconstruction/tf_mesh_renderer/mesh_renderer/kernels
to .so, following its readme, and modify line 28 in rasterize_triangles.py to your directory.
这步的tf_mesh_renderer见:
https://github.com/google/tf_mesh_renderer
Deep3D见:
https://github.com/microsoft/Deep3DFaceReconstruction
微软的Deep3D不包含render,所以yiranran另外加上了tf_mesh_renderer.
在安装tf_mesh_renderer的过程中,需要手动安装bazel,用conda即可。
CUDA_VISIBLE_DEVICES=1 python demo_19news.py ../Data/31
这里报错,提示cuDNN版本不匹配,直接用conda install后发生了熟悉的事情,也就是cuDNN版本超过driver版本,这个在之前pytorch安装时遇到过(安装pytorch遇到的一些坑)。
看这个图的对应版本:
以防万一安装和之前py3gpu一样的版本
cudatoolkit 9.0
cudnn 7.6.0
conda install cudatoolkit=9.0 cudnn=7.6.0
嗯?我发现和之前版本一样的话是秒安装的!
Fine-tune the audio network
这边用到pytorch又出现了版本问题,还是强制安装旧版本cuda92的pytorch
torch 1.4.0+cu92
torchvision 0.5.0+cu92
pip install torch==1.4.0+cu92 torchvision==0.5.0+cu92 -f https://download.pytorch.org/whl/torch_stable.html
Fine-tune the gan network
这边用到了matlab,因为付费所以尝试用octave代替,尝试直接在base安装octave。
sudo apt install octave
然后发现直接跑不行,要进入octave跑,进入之后发现没有bwboundaries,需要安装image包,就干脆直接使用通配符(*)安装每个Octave包:
sudo apt install octave-* -y
之后还需要pkg load image
才能用。参考:在Linux操作系统上安装Octave的方法
然后import mxnet的时候发现报错: libcudart.so.8.0: cannot open shared object file: No such file,查看了一下我的是8.0的mxnet,就重装了9.0的(Installing MXNet):
pip install mxnet-cu90
接着可以import mxnet了,跑代码的时候又报错了:
mxnet.base.MXNetError: [10:37:25] src/operator/nn/./cudnn/cudnn_convolution-inl.h:155: Check failed: e == CUDNN_STATUS_SUCCESS (8 vs. 0) : cuDNN: CUDNN_STATUS_EXECUTION_FAILED