人工智能十几年前就开始火了起来，尤其是2012年深度学习技术取得突破后，中国的人工智能开始快速发展，特别近几年随着GPT的成功，直接把人工智能带飞，人们视乎看到了在大部分领域，机器都能取代人力的可能性。于是乎AI技术广泛应用于金融、医疗、教育、交通等多个领域，特别是在自动驾驶、智能城市、智能制造等方面，中国的AI技术已经有了显著的成就。
数字人系列：
DINet+Openface训练数字人一：DINet简介与环境搭建
DINet+Openface训练数字人二：项目依赖与examples推理
DINet+Openface训练数字人三：自定义推理
DINet+Openface训练数字人四：自定义训练
上一篇文章介绍了DINet，以及相应的环境搭建，接下来进行进一步的处理。
一、项目依赖安装
要验证DINet的效果，就要使用其推理，使用前需要对项目的依赖进行安装。
进入项目目录（之前git clone的本地目录）
cd DINet_Resource_Path;
源码目录下，有个环境依赖包文件 requirements.txt
用Notepad++打开看看
opencv_python == 4.6.0.66
numpy == 1.16.6
python_speech_features == 0.6
resampy == 0.2.2
scipy == 1.5.4
tensorflow == 1.15.2
torch == 1.7.1+cu101
torchvision == 0.8.2+cu101
最后两句这两句先删除，执行依赖安装，安装完毕后再回撤。
pip install -r requirements.txt
上一步提到，执行安装依赖前把pytorch的相关版本要求，移除，是因为直接安装它会失败。
我们需要根据pytorch的要求
torch == 1.7.1+cu101
torchvision == 0.8.2+cu101
到pytorch官方去找对应的pip下载指令
拷贝下来，在Anaconda Prompt中执行
pip install torch==1.7.1+cu101 torchvision==0.8.2+cu101 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html
耐心等待完成即可。
二、推理
examples推理
项目源码中不包含推理用到的资源包，需要到Google Drive下载，下载后解压到项目根目录。
打开目录，可以看到如下文件列表，推理需要关注这两个文件夹
-
examples： 使用其提供的资源，可以轻松方便地进行推理，检验examplesde 推理效果，里面存放着参考资源；
-
inference_result： 推理产物，下面详细介绍；
执行以下命令进行推理：
python inference.py --mouth_region_size=256 --source_video_path=./asserts/examples/test1.mp4 --source_openface_landmark_path=./asserts/examples/test1.csv --driving_audio_path=./asserts/examples/driving_audio_1.wav --pretrained_clip_DINet_path=./asserts/clip_training_DINet_256mouth.pth
你可以任意切换具体的examples里的文件，多试试，看看推理的效果如何。
注意: testxxx.mp4 与 testxxx.csv 文件必须是配对的
推理完成后，会在.\asserts\inference_result目录下生成三个文件
- xxx_facial_dubbing_add_audio.mp4
- xxx_facial_dubbing.mp4
- xxx_synthetic_face.mp4
由其命名就可以看出每个文件的意图。
打开 xxx_facial_dubbing_add_audio.mp4就可以看到处理合成后的2d视频语音了。
结论
根据推理的结果，感觉还是可以的，起码脸部细节还是蛮丰富的，但是，还是能感觉到是进过处理的，细节有待改进。
另外，除了对样例中资源进行推理，我们还可以自定义视频及语音进行推理，由于资源的准备，需要耗费一定的时间，准备好资源后，再行这方面的介绍。
网友评论