芝加哥面孔数据库(CFD)的人脸模板

文章来源于微信公众号（茗创科技），欢迎有兴趣的朋友搜索关注。 

导读

研究人员经常需要对面孔进行处理，比如在两张面孔之间形成连续体，或者对一组面孔进行平均。为此，研究人员会使用到变形软件，但他们首先需要为每张面孔的特殊地标匹配一个模板。本文以芝加哥面孔数据库(CFD：一组免费的面孔刺激集和规范化数据)为例。CFD是一个免费的在线人脸数据库，包含不同种族和性别的人脸图像。在CFD的第二版中，本研究为597个中性(非表达)面孔提供了模板。这些模板是独一无二的，因为面孔地标是由研究人员手工放置的。相对于计算机生成的模板，手动放置的面孔地标更加准确。在过去的研究中，手工放置的模板是由各个实验室创建，而彼此之间并不共享。本文将描述如何创建模板，以及模板的一些可能用途。研究者希望这些模板能减轻其他研究人员操纵面孔时的负荷。

前言

芝加哥面孔数据库(CFD)包含800多张面孔，已经被世界各地的研究人员下载了数千次。该数据库的前两个版本包含不同种族的美国人面孔，包括黑人、白人、拉丁裔和亚裔。该数据库最近扩大到包括多种族面孔以及在印度德里拍摄的印度人面孔。

研究人员将CFD用于各种实验，从感知到人际互动，再到刻板印象和偏见等等。根据研究的设计和方法，研究人员可能想要操纵其呈现给参与者的面孔。通常情况下，操作包括将面孔进行平均和变形/转换。

为了便于使用变形软件操纵面孔，通常需要在图像上放置一组面部地标。这些面部地标结合起来称为一个模板，并且允许软件区分这些面部细节。随着面孔地标数量的增加，面孔近似的特征增加。图1显示了一个应用模板。在该模板中，使用了17个地标来模拟每只眼睛。一些地标勾勒出眼睑的边缘，而另一些则近似于虹膜和瞳孔的形状。然后对这些地标进行编号，这样相同的地标就可以放置在各个面孔相同的位置。例如，假设地标100表示特定面孔的左瞳孔。那么地标100也将显示在面孔数据集中每张面孔的左瞳孔上。

图1.叠加在面孔上的示例模板。左侧是来自CFD的亚洲女性的面孔，面孔上叠加了一个模板。右侧是放大的左眼。

有两种方法可以模板化面孔。模板可以通过软件自动放置，也可以手动放置。计算机生成的模板经常被计算机科学家使用，也被用于心理学研究。Dlib就是这样一个机器学习工具包，它可以与其他Python包一起用于模板化面孔。不幸的是，计算机生成的模板并不总是能够正确地检测面部结构和定位地标。对于正在研究成百上千张面孔模式的计算机科学家来说，这种测量误差可能不会造成太大的问题。然而，这种误差会在平均值或连续形变中产生伪影，这对实验室研究是有问题的。更麻烦法的是，这些误差似乎与种族(和其他人口统计变量)有关，例如，与其他种族相比，一些种族的面孔更有可能在其面部地标上出现错误。如果研究人员想要操作一张特定的面孔，那么计算机生成的模板比手工放置的模板更不准确。

手工放置模板既繁琐又耗时。为了完成特定的项目，模板通常由世界各地的单个实验室制作完成。由于这些模板通常不是共享的，因此被操作的面孔在后续的研究中不具有可复制性。值得注意的是，研究者也可能因为道德或法律方面的限制，阻止了他们共享模板。由于模板勾勒出面部的形状和特征，所以模板本身包含识别信息。研究人员只有在获得共享和分发模型许可的情况下才可以共享模板。

Chicago Face Database(CFD)是一个供学者和研究人员免费获取和下载的资源。为了帮助那些想要轻松、可重复地操作面孔的研究人员，本研究为CFD第二版中的所有中性面孔建立了一套手工放置的模板。每个模板都由一名研究人员放置，并由另一名研究人员检查，以确保面孔内部和面孔之间的一致性。在与CFD的作者协商后，本研究已获得在CFD网站上提供面孔地标的授权:https://www.chicagofaces.org/resources/。研究人员可以访问Chicago Faces网站，下载CFD，然后导航到资源选项卡下载这些模板。每个模板都被编写为一个.tem文件，可以与Psychmorph和WebMorph一起使用。这些程序可以本地读取.tem文件，对研究人员是免费开放的。

Psychomorph及其在线版本WebMorph被用来读取图像和模板文件。然后，这些程序可以用来操作面孔。为了便于操作面孔，Psychomorph和WebMorph都计算了两幅图像之间的变化向量。例如，考虑到左瞳孔的地标。对于第一张面孔，瞳孔距离眼睑顶部2mm。在第二张面孔中，瞳孔可能距离眼睑顶部4mm。Psychomorph和WebMorph使用这个差异以及所有地标的其他差异，以及每个地标之间的关系来计算从一个人的面孔到另一个人的面孔的变化向量。然后，可以将这个向量应用到任意一张面孔上，从而得到位于两张面孔之间的变形面孔(可根据用户选择的百分比调节)。下文将描述如何创建模板，然后讨论模板的几种潜在用途。尽管可能还有更多的用途，但我们相信这些例子涵盖了模板的一些常见且有趣的用法。

方法

本研究已经为所有的中性面孔建立了模板，这些都包含在CFD的第二版中。CFD第二版由597张不同型号的图像组成。每个模板都是使用WebMorph创建的。WebMorph默认使用189-地标模板，称为FRL-face模板，本研究在所有面孔模板中都使用它。WebMorph首先要求用户在左瞳孔上放置一个初始标记，在右瞳孔上放置第二个标记，在上唇底部中心放置第三个标记。在将前三个地标放置在面孔上后，一个初始的粗略模板就自动映射到面孔上。此时生成的模板是对面部特征的粗略估计，通常是不太全面的面部表征。制作这些模板的研究人员必须将每个地标移至面部的正确位置。

该模板概括了以下面部特征：15个地标用于估计外发际线和喉咙/喉头。30个地标估计内发际线，下巴和整个脸部的形状。每只耳垂用5个地标估计。在面孔内部，每个结构都由地标勾勒出来：左右眉毛(分别k=8)，左、右眼睛折痕(k=5)，左、右眼睛轮廓(k=8)，左、右虹膜(k=8)，左右瞳孔(k=1)，左、右眼圈(k=3)下，左、右颧骨(k=3)，鼻子(k=11)，左、右鼻孔(k=7)，左右微笑线(k=3)，左右人中(k=2)，外唇(k=12)，上唇和下唇(k=5)，下唇和下巴之间的折痕(k=3)，下巴酒窝(k=2)。

程序

培训研究人员

四名研究人员对这些面孔进行模板化，每名研究人员都是由第一作者培训的。培训师会先在学员在场的情况下对一张面孔进行模板化，然后让学员自己模板化一张面孔。然后，他们会讨论任何需要更改的地方，并继续这一过程，直到模板风格与培训师相匹配。所有地标模板最初都是由受过训练的研究人员放置的。地标模板完成后，第一作者或第二作者会审查已完成的模板，以确保一致性。在对该过程进行初步审查后，第一作者会再次对模板进行审查，以确保模板风格和FRL-face模板的一致性。

模板化过程

CFD的每张图片都被上传到WebMorph。图片在上传之前没有进行任何方式的处理或编辑。图片上传后，研究人员应用了189-地标的默认FRL-face模板，然后移动地标来匹配面部结构。

值得注意的是，一些地标的布置需要主观判断。例如，微笑线代表鼻唇沟。这个褶皱的范围是从鼻孔外到嘴唇。只有三个地标来估计这个褶皱，研究人员需要决定放置每个地标的位置。然而，研究人员尽了最大的努力使面孔内部(将左右微笑线标记放在相同的相对位置)和面部之间保持一致。

内部发际线值得一提。面部的发际线分为三类，有些面孔的发际线很明显，几乎没有头发遮挡。而有一些面孔，头发部分挡住了发际线，但前额的大部分可以看到。最后，有些面孔没有明显的发际线(秃头)，或者前额有很多头发遮挡，所以发际线不明显。对于这些情况，研究人员使用了以下指导方针。当发际线很容易辨认时，将内部的发际线地标绘制到发际线的边缘。当前额上有少量头发时，研究人员在头发和可见前额之间的边界上绘制地标。最后，当发际线不可见时，根据研究人员对发际线位置的估计，将内发际线地标置于遮挡头发上，见图2。

图2.发际线地标放置示例图。

面孔平均

变形软件最常见的用途之一是对一组面孔取平均值(如图3所示)。一旦用户有了一组模板化的图像，在Psychomorph和WebMorph中创建一个均值图像就很简单了。用户只需选择他们需要使用到的面孔，软件就会生成均值图像。关于这一功能如何实现的细节可以在WebMorph和Psychomorph网站上找到。

图3.面孔平均的示例图。中间的面孔是周围四个面孔的平均值(由WebMorph决定)。形状、颜色和纹理都进行了相同程度的修改。

均值面孔可以用于大量的实验。例如，可以用来评估吸引力，类别表征，面部抑郁的表现，以及个体身份认同或群体是如何编码的。

连续变形

另一种常见的操作包括生成连续的图像，在两张面孔之间逐渐过渡。这是通过变形两张面孔来创建一个新的面孔，以不同的程度混合这两张面孔（见图4）。WebMorph和Psychomorph允许研究人员单独控制变形的形状、纹理和颜色。简而言之，这三个变量允许用户微调变形，以增加可信度。这种类型的变形已经在文献中多次使用。从研究情绪的检测和识别，种族和认同等等，应用范围比较广泛。

图4.连续变形的示例图。最左侧的面孔是由一组CFD的白人男性面孔进行平均得到。最右侧的面孔是由一组CFD的黑人男性面孔进行平均得到。然后对这两张均值面孔进行变形。百分比指的是形状、颜色和纹理从连续体的一端调整到另一端的程度。

变换

本研究选择使用Psychomorph和WebMorph而不是其他软件包来构建这些模板的原因之一是，这两个程序在实现面部操作时具有独到之处。Psychomorph和WebMorph为用户提供了操作过程中使用三个源面孔的灵活性，而不是仅仅局限于两张面孔。前两张单独的面孔用来定义变化向量。然后，用户可以应用该向量来变换第三张面孔。这个过程是变形的延伸，被称为变换。例如，研究人员可能首先创建一张黑人男性的均值面孔和一张白人男性的均值面孔，并定义这两张面孔之间的变化向量。因为这个向量描述了均值之间的差异，所以它应该近似于典型黑人男性面孔和典型白人男性面孔之间的差异。然后研究人员可以调整第三张面孔，比如黑白混血(黑人&白人)面孔，在向量的黑人平均极或白人平均极的方向进行调整(见图5)。

图5.对第三张面孔应用变化向量(变换)。上面的示例显示了不同种族面孔的转换。Base 1是CFD中的黑人男性面孔的合成。Base 2是CFD中的白人男性面孔的合成。进行变换的面孔是一个黑白混血的模特。计算每个均值之间的变化向量，并将其应用于混血面孔。这使得我们可以将混血模特面孔转换为其面孔的黑人版本和白人版本。形状、颜色和纹理都进行了相同程度的修改。

使用模板测量面孔

最后，模板可以用于测量面部特征。如前所述，在二维面孔模型中，模板包含与临界点相对应的地标，如左、右眼的瞳孔或鼻尖。每个模板包含一个(x，y)坐标列表，研究人员可以使用这些坐标来测量地标之间的距离。

如果没有模板，研究人员当然可以手动测量任意两个面部特征之间的距离。事实上，CFD中每一张中性面孔包括大约30个面部结构指标，包括瞳孔之间的距离，脸的宽度，鼻子的长度等，这些都是在Adobe Photoshop中测量的。这个过程既繁琐又耗时。另一方面，使用本研究开发的模板，研究人员可以很容易地计算任意一对地标之间的距离。通过189个单独的地标，这些模板可以轻易地让研究人员得出超过17000种可能的面部结构。当然，测量可以通过使用R、Python或SPSS等程序实现自动化，从而找到CFD中所有面孔的两瞳孔间的距离(或任何其他距离)。这种测量面部特征的方法可以扩展到面部的内部结构，或整体面部测量，如宽高比、鼻子形状等。为了在这个过程中给大家提供相应的帮助，研究者创建了一个单独的CSV文件，其中包括了CFD中所有面孔的所有189个地标的x、y坐标。

结论

这些模板对于进行面孔研究的研究人员来说是非常有价值的资源。这些模板有助于操作CFD中的面孔，并可能激发新的研究问题和潜在的新方法。研究者希望通过为常用的面孔数据库提供模板，来减少该领域研究人员重复性的工作。但需要注意的是，这种减轻也有一个缺点。这些模板都遵循本研究者实验室的模板风格，可能会有一些特质属性在其中。尽管如此，研究者希望所提供的模板能够在更广泛的层面上减轻操作面部表情和进行面孔研究中存在的一些阻碍。

参考来源：Face templates for the Chicago Face Database.

https://doi.org/10.3758/s13428-022-01830-7

模板获取地址:

https://www.chicagofaces.org/resources

或者在公众号后台回复“面孔模板”获取。

文章来源于微信公众号（茗创科技），欢迎有兴趣的朋友搜索关注。