目标检测，FFmpeg中第一个基于深度学习模型的视频分析功能

2021年4月，终于把目标检测（object detection）加到FFmpeg upstream了，有maintainer身份加持，还是交互了将近100封邮件，花了两个多月才完成upstream，这还不包括前面的开发时间，当然，这么多的交流也对最后的代码有很大的提升。

当前目标检测只支持OpenVINO后端，后续还将尽快加入更多功能，比如基于TensorFlow模型的目标检测、支持OpenVINO后端的目标识别、目标检测和识别结果的可视化等。有了这样的基础代码后，就方便进行很多扩展了，如有这样的事情发生，望诸位可以不吝告知，我也可以更好的了解价值和不足，谢谢。

为了避开OpenVINO下载和安装的诸多步骤，我们就用docker的方法，直接利用OpenVINO已经发布的开发image，dockerfile如下所示。虽然本文主要演示基于OpenVINO的功能，我们在dockerfile把TensorFlow后端的支持也加进去了。

# 以OpenVINO的dev image作为基础
From openvino/ubuntu18_data_dev:2021.3

# 获取权限，在image中增加更多内容
USER root

# 安装常用软件
RUN apt-get update
RUN apt-get install -y git gcc nasm wget vainfo clinfo vim mediainfo yasm pkg-config make

# 设置工作目录
WORKDIR /workspace

# 下载并解压TensorFlow c库文件，也可以解压到系统目录中，这样后续就不需要设置路径了
RUN mkdir tensorflow && cd tensorflow && \
    wget https://storage.googleapis.com/tensorflow/libtensorflow/libtensorflow-cpu-linux-x86_64-2.4.0.tar.gz && \
    tar zxvf libtensorflow-cpu-linux-x86_64-2.4.0.tar.gz

# 下载FFmpeg源代码，为了加快速度，使用了--depth=1的参数
RUN git clone --depth=1 https://github.com/FFmpeg/FFmpeg ffmpeg

# 设置环境变量，前面三个是为了openvino而设置，最后一个是为了tensorflow而设置
ENV LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/intel/openvino/inference_engine/lib/intel64
ENV LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/intel/openvino/inference_engine/external/tbb/lib
ENV LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/intel/openvino/deployment_tools/ngraph/lib
ENV LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/workspace/tensorflow/lib

# 编译并安装ffmpeg，在configure的时候必须显式指定--enable-libtensorflow和/或--enable-libopenvino
RUN cd ffmpeg && \
    mkdir build && cd build && \
    ../configure \
        --enable-libtensorflow \
        --enable-libopenvino \
        --extra-cflags="-I/workspace/tensorflow/include -I/opt/intel/openvino/inference_engine/include/" \
        --extra-ldflags="-L/workspace/tensorflow/lib -L/opt/intel/openvino/inference_engine/lib/intel64" && \
    make -j$(nproc) && \
    make install

# 下载模型文件， 这个模型只支持人脸的检测，输出的label id有0和1两个取值。
# 而支持多个目标检测的模型，其输出的lable id则可有0、1、2、3等更多取值。
# 只是取值范围的区别，所以用这个模型作为例子是可行的。
# 其中.bin文件和.xml文件共同组成了OpenVINO格式的模型文件，而.label文件则用来指出label id为1的意思是face。
RUN wget https://github.com/guoyejun/ffmpeg_dnn/raw/main/models/openvino/2021.1/face-detection-adas-0001.bin
RUN wget https://github.com/guoyejun/ffmpeg_dnn/raw/main/models/openvino/2021.1/face-detection-adas-0001.xml
RUN wget https://github.com/guoyejun/ffmpeg_dnn/raw/main/models/openvino/2021.1/face-detection-adas-0001.label

# 下载测试图片，由于还未包括检测结果的可视化功能，所以，就不用视频作为输入了。
RUN wget https://github.com/guoyejun/ffmpeg_dnn/raw/main/images/cici.jpg

然后，运行下面命令，从dockerfile生成image。

$ docker build -t ffmpeg_dnn_ubuntu:18.04 .

如果需要设置代理，也可以用下面的命令来生成image。

$ docker build --network=host $(env | grep -E '_(proxy|REPO|VER)=' | sed 's/^/--build-arg /') -t ffmpeg_dnn_ubuntu:18.04 .

上面命令完成后，可以用下面命令查看系统中所有的image，这里的第一行就是刚刚生成的image。

$ docker image ls
REPOSITORY                       TAG             IMAGE ID            CREATED             SIZE
ffmpeg_dnn_ubuntu                18.04           47ba7671ed02        11 minutes ago      10.4GB
...

然后，用下面命令进入container。

docker run -it --rm --device /dev/dri:/dev/dri ffmpeg_dnn_ubuntu:18.04

在container中运行下面的命令，演示目标检测功能。

root@9d26c3a57bc7:/workspace# ffmpeg -i cici.jpg -vf dnn_detect=dnn_backend=openvino:model=face-detection-adas-0001.xml:input=data:output=detection_out:confidence=0.6:labels=face-detection-adas-0001.label,showinfo -f null -
...
[Parsed_showinfo_1 @ 0x561cf20c1f40]   side data - detection bounding boxes:
[Parsed_showinfo_1 @ 0x561cf20c1f40] source: face-detection-adas-0001.xml
[Parsed_showinfo_1 @ 0x561cf20c1f40] index: 0,  region: (1005, 813) -> (1086, 905), label: face, confidence: 10000/10000.
[Parsed_showinfo_1 @ 0x561cf20c1f40] index: 1,  region: (888, 839) -> (967, 926), label: face, confidence: 6917/10000.
...

从上述命令输出可以看到，图片中的两张人脸已经被正确检测到，可信度分别是100%和69.17%。

最后，最新架构图镇帖。

本文首发于微信公共号：那遁去的一