DECA复现

项目代码 https://github.com/CISLab-HKUST/DECA-SIGGRAPH2021

一. 工程环境配置

本工程基于python3.8、torch==2.0.1+cu118、torch3d实现

1. conda环境配置

预设脚本配好conda环境

#!/usr/bin/env bash

export CONDA_ENV_NAME=py3.8_DECA
echo $CONDA_ENV_NAME

conda create -n $CONDA_ENV_NAME python=3.8

eval "$(conda shell.bash hook)"
conda activate $CONDA_ENV_NAME

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip3 install -i https://pypi.mirrors.ustc.edu.cn/simple/ -r requirements.txt

conda install https://anaconda.org/pytorch3d/pytorch3d/0.7.4/download/linux-64/pytorch3d-0.7.4-py38_cu118_pyt201.tar.bz2

2. Torch3D的配置

到pytorch3d找到符合自己版本的安装包，比如cuda11.8、python3.8则对应这个链接，下载好后本地执行conda install <path>，即可配置Torch3D。

二. 模型的下载与放置

项目需要去FLAME主页下载FLAME2020.zip，并且提取各个mode.pkl到data目录下，另外还需要在这个网址下载deca_model.tar，无需解压，直接放置在data目录下。

三. 运行结果

1. 人脸重建

执行指令

python demos/demo_reconstruct.py -i TestSamples/examples --saveDepth True --saveObj True --rasterizer_type=pytorch3d

关键点检测：

纹理提取：

obj生成：

2. 表情迁移

python demos/demo_transfer.py --image_path TestSamples/examples/IMG_0392_inputs.jpg --exp_path TestSamples/exp/4.jpg --rasterizer_type=pytorch3d

将下面图片的表情迁到上面去。

3. 姿态和表情动画

首先要获取npz，到BFM_to_FLAME运行文件导出，首先要在这里注册账号，下载model2017-1_bfm_nomouth.h5文件，并放置在BFM_to_FLAME工程的model文件夹下，运行下面代码以导出FLAME_albedo_from_BFM.npz。

python col_to_tex.py

然后将FLAME_albedo_from_BFM.npz放至DECA的data目录下，并运行下面的代码。

python demos/demo_teaser.py --rasterizer_type=pytorch3d

即可得到姿态和表情动画。

踩过的坑

• 直接运行install_conda会覆盖pytorch到CPU版本

运行pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

• raise AttributeError(name) from None AttributeError: _2D

根据博客，将LandmarksType._2D改成下面代码

self.model = face_alignment.FaceAlignment(face_alignment.LandmarksType.TWO_D, flip_input=False)

• ERROR: Could not find a version that satisfies the requirement torch (from versions: none)
  ERROR: No matching distribution found for torch

Python环境和下载的Pytorch环境不匹配导致的，从3.7换成3.8就没有这个问题了。

• from numpy import bool, int, float, complex, object, unicode, str, nan, inf
  ImportError: cannot import name 'bool' from 'numpy'

安装的numpy版本过高了，用低一点的版本。

pip install numpy==1.23 -i https://mirrors.aliyun.com/pypi/simple

• 报错：magic_number = pickle_module.load(f, **pickle_load_args)
  EOFError: Ran out of input

解决：tar包不完整，重新拉取tar包，放至.data目录。

参考：

DECA（Detailed Expression Capture and Animation）入门之3D人脸重建Demo

pytorch3d安装｜踩坑指南