项目代码 https://github.com/CISLab-HKUST/DECA-SIGGRAPH2021
一. 工程环境配置
本工程基于python3.8、torch==2.0.1+cu118、torch3d实现
1. conda环境配置
预设脚本配好conda环境
#!/usr/bin/env bash
export CONDA_ENV_NAME=py3.8_DECA
echo $CONDA_ENV_NAME
conda create -n $CONDA_ENV_NAME python=3.8
eval "$(conda shell.bash hook)"
conda activate $CONDA_ENV_NAME
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip3 install -i https://pypi.mirrors.ustc.edu.cn/simple/ -r requirements.txt
conda install https://anaconda.org/pytorch3d/pytorch3d/0.7.4/download/linux-64/pytorch3d-0.7.4-py38_cu118_pyt201.tar.bz2
2. Torch3D的配置
到pytorch3d找到符合自己版本的安装包，比如cuda11.8、python3.8则对应这个链接，下载好后本地执行conda install <path>，即可配置Torch3D。
二. 模型的下载与放置
项目需要去FLAME主页下载FLAME2020.zip，并且提取各个mode.pkl到data目录下，另外还需要在这个网址下载deca_model.tar，无需解压，直接放置在data目录下。
三. 运行结果
1. 人脸重建
执行指令
python demos/demo_reconstruct.py -i TestSamples/examples --saveDepth True --saveObj True --rasterizer_type=pytorch3d
关键点检测：
纹理提取：
obj生成：
2. 表情迁移
python demos/demo_transfer.py --image_path TestSamples/examples/IMG_0392_inputs.jpg --exp_path TestSamples/exp/4.jpg --rasterizer_type=pytorch3d
将下面图片的表情迁到上面去。
3. 姿态和表情动画
首先要获取npz，到BFM_to_FLAME运行文件导出，首先要在这里注册账号，下载model2017-1_bfm_nomouth.h5文件，并放置在BFM_to_FLAME工程的model文件夹下，运行下面代码以导出FLAME_albedo_from_BFM.npz。
python col_to_tex.py
然后将FLAME_albedo_from_BFM.npz放至DECA的data目录下，并运行下面的代码。
python demos/demo_teaser.py --rasterizer_type=pytorch3d
即可得到姿态和表情动画。
踩过的坑
- 直接运行install_conda会覆盖pytorch到CPU版本
运行pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
- raise AttributeError(name) from None AttributeError: _2D
根据博客，将LandmarksType._2D改成下面代码
self.model = face_alignment.FaceAlignment(face_alignment.LandmarksType.TWO_D, flip_input=False)
- ERROR: Could not find a version that satisfies the requirement torch (from versions: none)
ERROR: No matching distribution found for torch
Python环境和下载的Pytorch环境不匹配导致的，从3.7换成3.8就没有这个问题了。
- from numpy import bool, int, float, complex, object, unicode, str, nan, inf
ImportError: cannot import name 'bool' from 'numpy'
安装的numpy版本过高了，用低一点的版本。
pip install numpy==1.23 -i https://mirrors.aliyun.com/pypi/simple
- 报错：magic_number = pickle_module.load(f, **pickle_load_args)
EOFError: Ran out of input
解决：tar包不完整，重新拉取tar包，放至.data目录。
参考：
DECA（Detailed Expression Capture and Animation）入门之3D人脸重建Demo
网友评论