DINet+Openface训练数字人二：项目依赖与exampl

人工智能十几年前就开始火了起来，尤其是2012年深度学习技术取得突破后，中国的人工智能开始快速发展，特别近几年随着GPT的成功，直接把人工智能带飞，人们视乎看到了在大部分领域，机器都能取代人力的可能性。于是乎AI技术广泛应用于金融、医疗、教育、交通等多个领域，特别是在自动驾驶、智能城市、智能制造等方面，中国的AI技术已经有了显著的成就。

---

数字人系列：
DINet+Openface训练数字人一：DINet简介与环境搭建
DINet+Openface训练数字人二：项目依赖与examples推理
DINet+Openface训练数字人三：自定义推理
DINet+Openface训练数字人四：自定义训练

---

上一篇文章介绍了DINet，以及相应的环境搭建，接下来进行进一步的处理。

一、项目依赖安装

要验证DINet的效果，就要使用其推理，使用前需要对项目的依赖进行安装。

进入项目目录（之前git clone的本地目录）

cd DINet_Resource_Path;

源码目录下，有个环境依赖包文件 requirements.txt
用Notepad++打开看看

opencv_python == 4.6.0.66
numpy == 1.16.6
python_speech_features == 0.6
resampy == 0.2.2
scipy == 1.5.4
tensorflow == 1.15.2
torch == 1.7.1+cu101
torchvision == 0.8.2+cu101

最后两句这两句先删除，执行依赖安装，安装完毕后再回撤。

pip install -r requirements.txt

上一步提到，执行安装依赖前把pytorch的相关版本要求，移除，是因为直接安装它会失败。

我们需要根据pytorch的要求

torch == 1.7.1+cu101
torchvision == 0.8.2+cu101

到pytorch官方去找对应的pip下载指令

拷贝下来，在Anaconda Prompt中执行

pip install torch==1.7.1+cu101 torchvision==0.8.2+cu101 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html

耐心等待完成即可。

二、推理

examples推理

项目源码中不包含推理用到的资源包，需要到Google Drive下载，下载后解压到项目根目录。

打开目录，可以看到如下文件列表，推理需要关注这两个文件夹

• examples： 使用其提供的资源，可以轻松方便地进行推理，检验examplesde 推理效果，里面存放着参考资源；
  

  

• inference_result： 推理产物，下面详细介绍；

执行以下命令进行推理：

python inference.py --mouth_region_size=256 --source_video_path=./asserts/examples/test1.mp4 --source_openface_landmark_path=./asserts/examples/test1.csv --driving_audio_path=./asserts/examples/driving_audio_1.wav --pretrained_clip_DINet_path=./asserts/clip_training_DINet_256mouth.pth  

你可以任意切换具体的examples里的文件，多试试，看看推理的效果如何。

注意: testxxx.mp4 与 testxxx.csv 文件必须是配对的
推理完成后，会在.\asserts\inference_result目录下生成三个文件

• xxx_facial_dubbing_add_audio.mp4
• xxx_facial_dubbing.mp4
• xxx_synthetic_face.mp4
  由其命名就可以看出每个文件的意图。

打开 xxx_facial_dubbing_add_audio.mp4就可以看到处理合成后的2d视频语音了。

结论

根据推理的结果，感觉还是可以的，起码脸部细节还是蛮丰富的，但是，还是能感觉到是进过处理的，细节有待改进。

另外，除了对样例中资源进行推理，我们还可以自定义视频及语音进行推理，由于资源的准备，需要耗费一定的时间，准备好资源后，再行这方面的介绍。