dlib 使用OpenCV，Python和深度学习进行人脸识别

作者: 热分享hotdog29 | 来源:发表于2019-07-16 20:19 被阅读1次

原文链接

dlib 使用OpenCV，Python和深度学习进行人脸识别源代码

在 2019年7月7日上张贴由 hotdog 发表回复

dlib 在今天的博客文章中，您将学习如何使用以下方法在图像和视频流中执行人脸识别：

OpenCV

python

深度学习

正如我们将要看到的，我们今天在这里使用的基于深度学习的面部嵌入都是（1）高度准确 和（2）能够实时执

使用OpenCV，Python和深度学习进行人脸识别

在本教程中，您将学习如何使用OpenCV，Python和深度学习进行面部识别。

我们将首先简要讨论基于深度学习的面部识别，包括“深度量学习”的概念。

我将帮助您安装实际执行面部识别所需的库。

最后，我们将对静止图像和视频流实现面部识别。

正如我们将要发现的那样，我们的面部识别实现将能够实时运行。

了解深度学习人脸识别嵌入

那么，深度学习+面部识别是如何工作的呢？

秘密是一种称为深度量学习的技术。

如果您有任何深度学习经验，您知道我们通常会训练网络：

接受单个输入图像

并输出该图像的分类/标签

但是，深度量度学习是不同的。

相反，我们尝试输出单个标签（甚至是图像中对象的坐标/边界框），而是输出实值特征向量。

对于dlib面部识别网络，输出特征向量是128-d（即，128个实数值的列表），其用于量化面部。使用三元组训练网络：

图1：通过深度量学习进行的面部识别涉及“三重训练步骤”。三胞胎由3个独特的面部图像组成 – 3个中的2个是同一个人。NN为3个面部图像中的每一个生成128-d矢量。对于同一个人的2个面部图像，我们调整神经网络权重以通过距离度量使矢量更接近。

在这里，我们为网络提供三个图像：

这些图像中的两个是同一个人的示例面部。

第三个图像是来自我们数据集的随机面，与其他两个图像不是同一个人。

作为一个例子，让我们再次考虑上面的图1，我们提供了三个图像：一个是Chad Smith，两个是Will Ferrell。

通过我们的网络量化，为每个面构建128-d嵌入（量化）。

从那里，一般的想法是我们将调整我们的神经网络的权重，以便两个Will Ferrel的128-d测量将彼此更接近并且远离Chad Smith的测量。

我们用于人脸识别的网络架构基于He等人的深度残留学习图像识别论文中的ResNet-34 ，但是层数较少，滤波器数量减少了一半。

该网络本身由Davis King在大约300万张图像的数据集上进行了训练。在野外标记面（LFW）数据集中，网络与其他最先进的方法进行比较，准确率达到99.38％。

Davis King（dlib的创建者）和Adam Geitgey（我们将很快使用的face_recognition模块的作者）都写了详细的文章，介绍了基于学习的面部识别的深度：

深度度量学习的高质量人脸识别（戴维斯）

深度学习的现代人脸识别（Adam）

我强烈建议您阅读上述文章，了解有关深度学习面部嵌入的工作原理的详细信息。

安装面部识别库

为了使用Python和OpenCV执行面部识别，我们需要安装两个额外的库：

dlib

face_recognition

由Davis King维护的 dlib 库包含我们实现的“深度量学习”，用于构建用于实际识别过程的面部嵌入。

由Adam Geitgey创建的 face_recognition 库包含了dlib的面部识别功能，使其更易于使用。在2018年的PyImageConf上向Adam Geitgey和Davis King学习

我假设您已在系统上安装了OpenCV。如果没有，不用担心 – 只需访问我的OpenCV安装教程页面，然后按照适合您系统的指南进行操作。

从那里，让我们安装 dlib 和 face_recognition 包。

注意：对于以下安装，请确保您使用的是虚拟环境。我强烈推荐用于隔离项目的虚拟环境 – 这是Python的最佳实践。如果您已经按照我的OpenCV安装指南（并安装了 virtualenv +virtualenvwrapper ），那么您可以在安装dlib 和 face_recognition之前使用 workon命令。

dlib无GPU支持安装

如果您没有GPU，可以按照本指南使用pip 安装 dlib

$ workon # optional

$ pip install dlib

或者您可以从源代码编译

$ workon # optional

$ git clone https://github.com/davisking/dlib.git

$ cd dlib

$ mkdir build

$ cd build

$ cmake .. -DUSE_AVX_INSTRUCTIONS=1

$ cmake --build .

$ cd ..

$ python setup.py install --yes USE_AVX_INSTRUCTIONS

dlib使用GPU支持进行安装（可选）

如果你这样做有一个兼容CUDA的GPU可以安装 dlib 与GPU的支持，使得面部识别速度更快，效率更高。

为此，我建议您从源代码安装 dlib，因为您可以更好地控制构建

$ workon # optional

$ git clone https://github.com/davisking/dlib.git

$ cd dlib

$ mkdir build

$ cd build

$ cmake .. -DDLIB_USE_CUDA=1 -DUSE_AVX_INSTRUCTIONS=1

$ cmake --build .

$ cd ..

$ python setup.py install --yes USE_AVX_INSTRUCTIONS --yes DLIB_USE_CUDA

安装face_recognition包

所述face_recognition模块是通过一个简单的PIP命令安装

$ workon # optional

$ pip install face_recognition

安装imutils

你还需要我的便利功能包，imutils。您可以通过pip在Python虚拟环境中安装它

$ workon # optional

$ pip install imutils

我们的人脸识别数据集

图2：使用Python和Bing Image Search API以编程方式创建了一个示例人脸识别数据集。显示了侏罗纪公园电影系列中的六个角色。

由于侏罗纪公园（1993）是我有史以来最喜欢的电影，为了纪念侏罗纪世界：堕落王国（2018年）本周五在美国发行，我们将对电影中角色的样本进行人脸识别。：

艾伦·格兰特，古生物学家（22图像）

克莱尔·迪林，园区运营管理（53张图片）

Ellie Sattler，古植物学家（31图像）

伊恩马尔科姆，数学家（41图像）

约翰哈蒙德，商人/侏罗纪公园所有者（36张图片）

Owen Grady，恐龙研究员（35图像）

使用我的如何（快速）构建深度学习图像数据集教程中讨论的方法，在<30分钟内构建此数据集。鉴于此图像数据集，我们将：

为数据集中的每个面创建128-d嵌入

使用这些嵌入来识别图像和视频流中字符的面部

人脸识别项目结构

通过检查tree 命令的输出可以看到我们的项目结构

我们的项目有4个顶级目录：

dataset / ：包含基于各自名称组织到子目录中的六个字符的面部图像。

examples / ：有三个用于测试的图像不在数据集中。

output / ：您可以在此处存储已处理的面部识别视频。我的一个文件夹 – 来自原侏罗纪公园电影的经典“午餐场景” 。

videos / ：输入视频应存储在此文件夹中。此文件夹还包含“午餐场景”视频，但尚未经过人脸识别系统。

我们在根目录中还有6个文件：

search_bing_api .py ：第1步是建立一个数据集（我已经为你完成了这个）。要了解如何使用Bing API使用我的脚本构建数据集，请参阅此博客文章。

encode_faces .py ：使用此脚本构建面部的编码（128-d向量）。

recognize_faces_image.py ：识别单个图像面（根据编码从数据集）。

recognize_faces_video.py ：识别人脸从您的网络摄像头和输出视频的实时视频流。

recognize_faces_video_file.py ：识别人脸在驻留在磁盘上并输出所处理的视频到硬盘的视频文件。我今天不会讨论这个文件，因为框架来自与视频流文件相同的骨架。

encodings .pickle ：面部识别编码是通过 encode_faces .py从数据集生成的，然后序列化存储磁盘。

在创建图像数据集（使用 search_bing_api .py ）之后，我们将运行 encode_faces .py 来构建嵌入。

从那里，我们将运行识别脚本来实际识别面部。

使用OpenCV和深度学习对面部进行编码

图3：通过深度学习的面部识别和使用face_recognition模块方法的Python 生成每面的128-d实值数字特征向量。

在我们识别图像和视频中的面部之前，我们首先需要量化训练集中的面部。请记住，我们实际上并没有在这里训练网络 –网络已经过训练，可以在大约300万张图像的数据集上创建128-d嵌入。

我们当然可以从头开始训练网络，甚至可以微调现有模型的权重，但这很可能对许多项目来说都是过度杀伤力。此外，您需要大量图像来从头开始训练网络。

相反，使用预先训练的网络更容易，然后使用它为我们的数据集中的218个面中的每一个构建128-d嵌入。

然后，在分类过程中，我们可以使用简单的k-NN模型+ votes 来进行最终的人脸分类。其他传统的机器学习模型也可以在这里使用。

要构建我们的面部嵌入，请从与此博客帖子相关联的“下载”中打开 encode_faces .py

首先，我们需要导入所需的包。再次注意，此脚本需要安装 imutils ， face_recognition 和OpenCV。向上滚动到“安装您的面部识别库”，以确保您的库已准备就绪。

让我们处理在运行时使用 argparse处理的命令行参数

如果您是PyImageSearch的新手，请允许我将您的注意力转移到上面的代码块，当您阅读更多我的博客文章时，您会对此熟悉。我们使用 argparse 来解析命令行参数。在命令行中运行Python程序时，可以在不离开终端的情况下向脚本提供其他信息。第10-17行不需要修改，因为它们解析来自终端的输入。如果这些行看起来不熟悉，请查看我关于命令行参数的博文。

让我们列出参数标志并讨论它们：

– dataset ：我们数据集的路径（我们使用上周博客文章的方法＃2中描述的search_bing_api .py创建了一个数据集）。

– encodings ：我们的面部编码被写入该参数所指向的文件中。

– encodings ：在我们对图像中的面部进行编码之前，我们首先需要检测它们。或者两种面部检测方法包括 hog 或 cnn 。这两个标志是唯一适用于 – 检测- 方法的标志。

现在我们已经定义了参数，让我们抓住数据集中文件的路径（以及执行两次初始化）

第21行使用输入数据集目录的路径来构建其中包含的所有imagePath的列表。

我们还需要在循环之前初始化两个列表， knownEncodings 和 knownNames 。这两个列表将包含数据集中每个人的面部编码和相应的名称（第24和25行）。

现在是时候开始循环我们的侏罗纪公园角色面孔了！

该循环将循环218次，对应于数据集中的218个面部图像。我们循环到第28行的每个图像的路径。

从那里，我们将在第32行从imagePath中提取人物的名称（因为我们的子目录被恰当地命名）。

然后让我们在将imagePath传递给 cv2的同时加载图像。imread （第36行）。

OpenCV在BGR中订购颜色通道，但 dlib 实际上需要RGB。该 face_recognition 模块使用 dlib，所以我们开始之前，让我们交换的色彩空间上的37号线，命名新的图像 RGB 。

接下来，让我们本地化面部和计算编码

这是脚本的有趣部分！

对于循环的每次迭代，我们将检测一个面（或可能是多个面并假设它是图像的多个位置中的同一个人 – 这个假设在您自己的图像中可能或可能不成立，所以要小心这里）。

例如，假设 rgb 包含Ellie Sattler脸部的图片。

第41和42行实际上找到/本地化她的面部，从而产生一个面部框列表。我们将两个参数传递给face_recognition 。face_locations 方法：

rgb ：我们的RGB图像。

model ： cnn 或 hog （此值包含在与 “detection_method” 键关联的命令行参数字典中）。CNN方法更准确但更慢。HOG更快但准确度更低。

然后，我们将把 Ellie Sattler脸部的边界框变成45行的128个数字列表。这被称为将面部编码为矢量, face_recognition 。face_encodings 方法为我们处理它。

从那里我们只需要将Ellie Sattler 编码和名称附加到适当的列表（ knownEncodings 和knownNames ）。

我们将继续为数据集中的所有218个图像执行此操作。

除非我们可以在另一个处理识别的脚本中使用编码，否则编码图像的重点是什么？

现在让我们来处理

第56行构造了一个带有两个键的字典 – “编码” 和 “名称” 。

从那里57-59号线将名称和编码转储到磁盘上以备将来召回。

我该如何在终端中运行 encode_faces .py脚本？

要创建面部嵌入，请打开终端并执行以下命令

1$ python encode_faces.py --dataset dataset --encodings encodings.pickle

从输出中可以看出，我们现在有一个名为encodings.pickle 文件 – 此文件包含数据集中每个面的128维面嵌入。

在我的Titan X GPU上，处理整个数据集只花了一分多钟，但如果您使用的是CPU，请准备好等待一段时间才能完成此脚本！

在我的Macbook Pro（无GPU）上，编码218张图片需要21分20秒。

如果您拥有GPU并使用GPU支持编译dlib，您应该期望更快的速度。

识别图像中的面孔

图4：使用Adam Geitgey的深度学习face_recognitionPython模块识别John Hammond的脸。

现在我们已经为数据集中的每个图像创建了128维面嵌入，现在我们可以使用OpenCV，Python和深度学习来识别图像中的面部。

打开 recognize_faces_image .py （从这个博客帖子 “下载” 相关的文件和图像数据)

此脚本在第2-5行只需要四次导入。该 face_recognition 模块将做繁重和OpenCV将帮助我们来加载，转换和显示处理后的图像。

我们将在第8-15行解析三个命令行参数：

– encodings ：包含我们的面部编码的pickle文件的路径。

– image ：这是正在进行面部识别的图像。

– detection-method ：你现在应该熟悉这个 – 我们要么根据系统的能力使用 hog 或 cnn方法。对于速度，选择 hog 要准确，选择 cnn 。

重要！ 如果你是：

在CPU上运行面部识别代码

或者你使用Raspberry Pi

……你要设置 –detection-method 为 hog, 作为CNN脸检测器（1）不具有GPU和（2）的树莓派将没有足够的内存来运行任意的CNN缓慢。

从那里，让我们加载预先计算的编码+面部名称，然后为输入图像构建128维面部编码

第19行从磁盘加载我们的腌制编码和面名。我们稍后将在实际的面部识别步骤中需要这些数据。

然后，在第22行和第23行，我们加载并将输入图像转换为 rgb 颜色通道排序（就像我们在encode_faces .py 脚本中所做的那样）。

然后我们继续检测输入图像中的所有面，并在第29-31行计算它们的128-d 编码（这些线也应该看起来很熟悉）。

现在是初始化检测到的每个面的名称列表的好时机 – 该列表将在下一步填充。

接下来，让我们循环遍历面部编码

在第37行，我们开始循环从输入图像计算的面部编码。

然后面部识别魔法发生了！

我们尝试使用face_recognition. ompare_faces 将输入图像（编码）中的每个面匹配到我们已知的编码数据集（保存在 data[“encodings”] 中）(第40和41行）。

此函数返回True / False 值列表，每个图像对应一个数据集。对于我们的侏罗纪公园示例，数据集中有218个图像，因此返回的列表将具有218个布尔值。

在内部， compare_faces 函数计算候选嵌入与数据集中所有面之间的欧几里德距离：

如果距离低于某个公差（公差越小，我们的面部识别系统就越严格），那么我们返回True ，表示面部匹配。

否则，如果距离高于容差阈值，则返回 False，因为面不匹配。

基本上，我们正在使用“更花哨的”k-NN模型进行分类。请务必参考compare_faces实现以获取更多详细信息。

该变量将最终持有人的姓名串-现在，我们把它作为 “未知” 的情况下有没有“票”（42号线）。

根据我们的匹配列表，我们可以计算每个名称的“投票数”（与每个名称相关联的真值的数量），计算投票数，并选择具有最多相应投票的人名

如果匹配中有任何 True 投票（第45行），我们需要确定这些True 值匹配的位置的索引。我们在第49行上就是这样做的，我们构造了一个简单的matchedIdx列表，对于example_01 .png可能看起来像这样

(Pdb) matchedIdxs[35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 71, 72, 73, 74, 75]

然后我们初始化一个名为counts的字典，它将字符名称作为键票数作为值（第50行）。

从那里开始，让我们遍历 matchesIdxs 并设置与每个名称相关联的值，同时根据需要递增计数。该计数字典可能是这样的一个高投得分为伊恩·马尔科姆

1(Pdb) counts{‘ian_malcolm’: 40}

回想一下，我们在数据集中只有41张Ian图片，因此对于其他任何人而言没有投票的40分是非常高的。

第61行从计数中提取得票最多的名称，在这种情况下，它将是 “ian_malcolm” 。

我们的循环的第二次迭代（因为在我们的示例图像中有两个面）主面部编码循环产生以下计数

1(Pdb) counts{‘alan_grant’: 5}

这绝对是一个较小的投票得分，但仍然，字典中只有一个名字所以我们可能找到了Alan Grant。

注意： PDB Python调试器用于验证计数字典的值。PDB的使用超出了本篇博文的范围; 但是，您可以在Python文档页面上发现如何使用它。

如下面的图5 所示，Ian Malcolm和Alan Grant都已被正确识别，因此脚本的这一部分运行良好。

让我们继续并循环遍历每个人的边界框和标记名称，并在输出图像上绘制它们以进行可视化

在第67行，我们开始在检测到的面部边界框和预测名称上循环。要创建一个可迭代对象，以便我们可以轻松遍历值，我们调用zip（框，名称），从而生成元组，我们可以从中提取框坐标和名称。我们使用框坐标在第69行上绘制一个绿色矩形。我们还使用坐标来计算我们应该在哪里绘制人名的文本（第70行），然后在图像上实际放置名称文本（第71和72行））。如果面部边界框位于图像的最顶部，我们需要将文本移动到框顶部下方（在第70行处理），否则文本将被截断。然后我们继续显示图像，直到按下一个键（第75和76行）。你应该如何运行面部识别Python脚本？使用您的终端，首先使用workon命令确保您在各自的Python正确的虚拟环境中（当然，如果您使用的是虚拟环境）。然后运行脚本，同时至少提供两个命令行参数。如果您选择使用HoG方法，请务必同时传递–detection-method hog（否则它将默认为深度学习检测器）。

我们去吧！

要使用OpenCV和Python识别面部，请打开终端并执行我们的脚本

$ python recognize_faces_image.py --encodings encodings.pickle \ --image examples/example_01.png

Figure 5:Alan Grant and Ian Malcom’s faces are recognized using our Python + OpenCV + deep learning method.

第二个例子

$ python recognize_faces_image.py --encodings encodings.pickle \ --image examples/example_03.png

Figure 6:Face recognition with OpenCV and Python.

识别视频中的面孔

图7：通过Python，OpenCV和深度学习在视频中进行面部识别。

既然我们已经对图像应用了人脸识别，那么我们也可以对视频进行人脸识别（实时）。

重要性能注意：如果您正在使用GPU，则只能实时使用CNN人脸识别器（您可以将其与CPU一起使用，但期望小于0.5 FPS，这会导致视频不稳定）。或者（您使用的是CPU），您应该使用HoG方法（甚至是未来博客文章中介绍的OpenCV Haar级联）并期望足够的速度。

下面的脚本与以前 recognize_faces_image.py 脚本有许多相似之处。因此，我将轻松略过已经涵盖的内容，只需查看视频组件，以便了解正在发生的事情

我们在第2-8行导入包，然后继续解析第11-20行的命令行参数。

我们有四个命令行参数，其中两个你应该从上面识别（–encodings和–detection-method）。另外两个参数是：

–output：输出视频的路径。

–display：一个标志，指示脚本将帧显示在屏幕上。值1显示，值0不显示输出帧到我们的屏幕。

从那里我们将加载我们的编码并启动我们的VideoStream：

要访问我们的相机，我们正在使用imutils的VideoStream类。第29行启动流。如果系统上有多个摄像头（例如内置网络摄像头和外部USB摄像头），则可以将src = 0更改为src = 1，依此类推。

我们可以选择将处理后的视频帧写入磁盘，因此我们将writer初始化为 None （第30行）。睡眠2秒钟可使我们的相机预热（第31行）。

从那里我们将开始一个 while 循环并开始抓取并处理帧

我们的循环从第34行开始，我们采取的第一步是从视频流中获取一个帧（第36行）。

上述代码块中的剩余行40-50几乎与前一个脚本中的行相同，只是这是视频帧而不是静态图像。基本上我们读取帧，预处理，然后检测面边界框 +计算每个边界框的编码。

接下来，让我们循环遍历与我们刚刚找到的面部相关的面部编码

在这个代码块中，我们遍历每个编码并尝试匹配面部。如果找到匹配项，我们会计算数据集中每个名称的投票数。然后，我们提取最高投票数，这是与面部相关联的名称。这些行与我们前面提到的脚本相同，所以让我们继续。

在下一个块中，我们在已识别的面上循环，然后围绕面部绘制一个框，并在面部上方绘制人物的显示名称

这些行也是相同的，所以让我们关注视频相关代码。

或者，我们将把帧写入磁盘，让我们看看如何使用OpenCV将视频写入磁盘：

假设我们在命令行参数中提供了输出文件路径，并且我们尚未初始化视频编写器（第99行），让我们继续并初始化它。

在第100行，我们初始化VideoWriter_fourcc。 FourCC是一个4字符的代码，在我们的例子中，我们将使用“MJPG”4字符代码。

从那里，我们将该对象与我们的输出文件路径，每秒帧数目标和帧尺寸（第101和102行）一起传递到VideoWriter中。

最后，如果编写器存在，我们可以继续将帧写入磁盘（第106-107行）。

让我们来处理是否应该在屏幕上显示人脸识别视频帧

如果我们的显示命令行参数已设置，我们继续显示框架（第112行）并检查是否已按下退出键（“q”）（第113-116行），此时我们将突破循环（第117行）。

最后，让我们履行我们的内务管理职责

在第120-125行中，我们清理并释放显示器，视频流和视频编写器。

你准备好看脚本了吗？

要演示使用OpenCV和Python实时进行人脸识别，请打开终端并执行以下命令

$ python recognize_faces_video.py --encodings encodings.pickle \ --output output/webcam_face_recognition_output.avi --display

视频文件中的人脸识

此文件与我们刚刚为网络摄像头查看的文件基本相同，但它会采用输入视频文件并生成输出视频文件（如果您愿意）。

我将人脸识别代码应用于最初的侏罗纪公园电影中的流行“午餐场景”，演员坐在桌子旁，分享他们对公园的关注

$ python recognize_faces_video_file.py –encodings encodings.pickle \ –input videos/lunch_scene.mp4 –output output/lunch_scene_output.avi \ –display

注意：回想一下，我们的模型是由原始演员的四名成员训练的：Alan Grant，Ellie Sattler，Ian Malcolm和John Hammond。该模型没有接受Donald Gennaro（律师）的培训，这就是为什么他的脸被标记为“未知”。这种行为是设计（不是偶然），以表明我们的面部识别系统可以识别它所训练的面部，同时留下它无法识别为“未知”的面部。

在下面的视频中，我将侏罗纪公园和侏罗纪世界剪辑的“精彩卷轴”放在一起，主要来自预告片：

我们可以看到，我们可以看到，我们的人脸识别和OpenCV代码运行良好！

我可以在Raspberry Pi上使用这个面部识别器代码吗？

可以。但是有一些限制：

Raspberry Pi没有足够的内存来使用更准确的基于CNN的人脸检测器……

……所以我们仅限于HOG

除了HOG在Pi上用于实时人脸检测的速度太慢……

…所以我们需要利用OpenCV的Haar级联

一旦你运行它，你只能期望1-2 FPS，甚至达到FPS的水平需要一些技巧。

好消息是我将在下周回来讨论如何在Raspberry Pi上运行我的人脸识别器，敬请期待！

摘要

在本教程中，您学习了如何使用OpenCV，Python和深度学习进行人脸识别。