今天来实现一个更加复杂的特效“影分身”。下面有请我们本场的主演，坤制作人为我们表演他拿手的鸡你太美。
二、实现原理
首先我们要准备一个视频，作为我们的素材。然后我们要逐帧提取视频中的图像，接下来我们利用paddlehub逐帧抠取人像。这样就有了我们的主体，和分身了。最后我们需要在写入视频的时候对图像进行处理，我直接在原图像上粘贴了两个人物分身，最后合成的视频效果就是上面的效果了。当然我们还需要添加音频，所以最后我们需要读取音频并将新视频同音频混流。我们将整个过程分为以下几个步骤：
逐帧提取图像
批量抠图
合成图像（影分身）
写入视频
读取音频
混流
最终我们就能实现一个完整的视频了。
三、模块安装
为了方便，我们全都使用pip安装：
pip install pillow
pip install opencv-python
pip install moviepy
# 安装paddlepaddle
python -m pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple
# 安装paddlehub
pip install -i https://mirror.baidu.com/pypi/simple paddlehub
也就不废话了，如果安装过程中出了什么问题可以自行百度或者联系博主，我会尽量解答的，毕竟我也只是个菜鸡。
四、代码实现
我们先看看导入的一些模块：
import cv2
import math
import numpy as np
from PIL import Image
import paddlehub as hub
from moviepy.editor import *
我们按照上面的步骤，一步一步来。
4.1、逐帧提取图像
这就需要使用到我们的opencv了，具体代码如下：
def getFrame(video_name, save_path):
"""
传入视频名称，将图像帧保存到save_path下
"""
# 读取视频
video = cv2.VideoCapture(video_name)
# 获取视频帧率
fps = video.get(cv2.CAP_PROP_FPS)
# 获取画面大小
width = int(video.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(video.get(cv2.CAP_PROP_FRAME_HEIGHT))
size = (width, height)
# 获取帧数
frame_num = str(video.get(7))
name = int(math.pow(10, len(frame_num)))
ret, frame = video.read()
while ret:
cv2.imwrite(save_path + str(name) + '.jpg', frame)
ret, frame = video.read()
name += 1
video.release()
return fps, size
这里我们只需要注意OpenCV版本需要在3.0以上，如果是低版本的话会出现兼容问题。
4.2、批量抠图
批量抠图需要使用到我们的paddhub模型库，而抠图的实现也只需要几行代码：
def getHumanseg(frames):
"""
对frames路径下所以图片进行抠图
"""
# 加载模型库
humanseg = hub.Module(name='deeplabv3p_xception65_humanseg')
# 遍历路径下文件
files = [frames + i for i in os.listdir(frames)]
# 抠图
humanseg.segmentation(data={'image': files})
我们调用该方法后会在目录下生成humanseg_output目录，抠好的图像就在里面。
4.3、合成图像（影分身）
这里需要使用到我们的Pillow模块，该模块中提供了图像粘贴的函数：
def setImageBg(humanseg, bg_im):
"""
将抠好的图和背景图片合并
:param humanseg:
:param bg_im:
:return:
"""
# 读取透明图片
im = Image.open(humanseg)
# 分离色道
r, g, b, a = im.split()
# 在图片右边粘贴一个人物分身
bg_im.paste(im, (bg_im.size[0]//3, 0), mask=a)
# 在图片左边粘贴一个人物分身
bg_im.paste(im, (-bg_im.size[0]//3, 0), mask=a)
# 将图形转换成opencv能正常读取的类型，并返回
return np.array(bg_im.convert('RGB'))[:, :, ::-1]
上面主要就是使用paste函数。
4.4、写入视频
写入视频的操作同样是OpenCV来实现的：
def writeVideo(humanseg_path, frames, fps, size):
"""
传入抠好的人像，和原图像，以及原视频帧率，大小，写入新视频
"""
# 写入视频
fourcc = cv2.VideoWriter_fourcc(*'mp4v')
out = cv2.VideoWriter('green.mp4', fourcc, fps, size)
# 将每一帧设置背景
humanseg = [humanseg_path + i for i in os.listdir(humanseg_path)]
frames = [frames + i for i in os.listdir(frames)]
for i in range(humanseg.__len__()):
# 读取原图像
bg_im = Image.open(frames[i])
# 设置分身
im_array = setImageBg(humanseg[i], bg_im)
# 写入视频
out.write(im_array)
out.release()
到这里我们就实现了一个视频，但是现在还没有声音，接下来就需要我们用moviepy进行音频的混流了。
4.5、混流
我们混流的操作就是先获取音频，然后再混流，而音频我们只需要读取原视频的音频即可：
def getMusic(video_name):
"""
获取指定视频的音频
"""
# 读取视频文件
video = VideoFileClip(video_name)
# 返回音频
return video.audio
其中VideoFileClip是moviepy中的一个视频处理的类。下面我们来添加音乐：
def addMusic(video_name, audio):
"""实现混流，给video_name添加音频"""
# 读取视频
video = VideoFileClip(video_name)
# 设置视频的音频
video = video.set_audio(audio)
# 保存新的视频文件
video.write_videofile(output_video)
output_video是我们自己定义的一个存放文件保存路径的变量，需要注意，该全路径（路径+名称）不能和原视频相同。
4.6、实现特效
也就是将整个流程整合到一起：
def changeVideoScene(video_name):
"""
:param video_name: 视频的文件
:param bgname: 背景图片
:return:
"""
# 读取视频中每一帧画面
fps, size = getFrame(video_name, frames)
# 批量抠图
getHumanseg(frames)
# 将画面一帧帧写入视频
writeVideo(humanseg_path, frames, fps, size)
# 混流
addMusic('green.mp4', getMusic(video_name))
在上面有些变量我们还没有定义，我们在main函数中定义一下：
if __name__ == '__main__':
# 当前项目根目录
BASE_DIR = os.path.abspath(os.path.join(os.path.dirname(__file__), "."))
# 每一帧画面保存的地址
frames = BASE_DIR + '\\frames\\'
# 抠好的图片位置
humanseg_path = BASE_DIR + '\\humanseg_output\\'
# 最终视频的保存路径
output_video = BASE_DIR + '\\result.mp4'
# 创建文件夹
if not os.path.exists(frames):
os.makedirs(frames)
if not os.path.exists(background_path):
os.makedirs(background_path)
# 给视频添加特效
changeVideoScene('jntm.mp4')
这样就实现了我们完整的特效。
呸！ikun警告，好想上庭。
网友评论