美文网首页
Realtime Multi-Person 2D Pose Es

Realtime Multi-Person 2D Pose Es

作者: chaos_chen | 来源:发表于2019-01-18 14:37 被阅读0次

    论文阅读 Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields

    对应开源项目:https://github.com/ZheC/Realtime_Multi-Person_Pose_Estimation

    abstract

    介绍一种高效的多人2D姿态识别,它使用非参数表示(non-parametric representation),这里我们称之为:
    Part Affinity Fields (PAFs),来关联个人的身体区域。

    整个框架对全局信息encode,使用贪心的从下到上的解析,不仅能保持高准确率,还能保持实时效果,效率和人数无关
    框架通过两个连续的分支,联合学习局部位置和他们的关系

    introduction

    人体2D姿态检测问题,也就是关键点或部位定位问题,主要都聚焦在寻找个体的身体区域。
    挑战有很多:图片大小、人体位置、个数、人体重叠引起的空间干扰、实时效率

    通常的做法是先检测到单个人体,再在人体上做姿态检测。这种top-down的做法有两个弊端:人体检测可能因为遮挡失败,实时性根据人体个数而不同。

    bottpm-up的做法并不是直接使用全局上下文。实际上,早期的很多做法,在最后一步需要全局inference,这样效率也不高。比如有人使用联合的标签候选区域,并把它们关联到单个人;然而这种在全连接图上的整数线性规划问题是NP问题。有人基于resnet使用强区域检测器(stronger part detectors)和image-dependent pairwise scores ,仍然需要几分钟,而且和proposal到的part的数量有关。pairwise的表示方法很难回归准确,因此还需要额外的逻辑回归。

    我们提出了第一个通过Part Affinity Fields (PAFs) 来关联分数的bottom-up的方法,一组对肢体位置和方向encode的二维向量。

    Method

    pipeline如下:


    1.jpg

    前馈网络同时预测2D的confidence maps of body part locations (fig.2b) 称为S
    2D的part affinities fields, 它对degree of association between parts 进行encode(fig.2c) 称为L
    最后S和L通过greedy inference解析(fig.2d) 、 输出所有人的2D关键点

    Simultaneous Detection and Association

    如上图,米黄色部分预测confidence map
    蓝色部分预测affinity fields

    图片最先使用经过fine tuned的VGG-19的前十层初始化,产生第一层特征表F。
    F通过CNN分别产生S和L。
    剩下的阶段使用前阶段产出的S L 和原始 F进行基尼异步精炼:



    每个阶段精炼后的confidence map和affinity field如下图:
    通过global inference, 渐渐区分出左右手:


    3.jpg

    每个阶段的末尾使用L2loss来分别计算maps和fields的误差。具体的计算方式如下:



    其中W是binary mask,用来避免true positive预测的惩罚,
    每一阶段周期地补充梯度,用来避免梯度消失

    全局目标是:


    Confidence Maps for Part Detection

    为了评估confidence map,对图片中第k个人的可见的第j个身体部位的ground truth part confidence map做定义:


    其中P是location,σ用来控制峰值的延伸,
    网络中用来预测的confidence map是通过max运算符对单个confidence map的聚合:


    只所以选用max,而不是average,是因为极大值能保存峰值相近时的不同:


    身体部位的候选采用非极大值抑制

    Part Affinity Fields for Part Association

    对于检测到的身体区域点,怎样在不知道有几个人的情况下,连接它们,组成完整的身体呢?
    我们需要有一套打分机制,给不同组合打分,来确定它们属于同一个人。

    一种可能的做法是,检测肢体对的中间点,判断它的可能性。如fig(5b)。但是当人靠得比较近时,有可能出错,
    就像fig(5b)中绿色的线。这种出错情况可归咎为(1)我们只encode位置,没有encode方向。(2)肢体的区域被缩小成了点

    为了解决(address)这些问题,我们提出了全新的表示方式,称之为Part Affinity Fields (PAFs)。
    在候选的区域内既保存位置,又保存方向。如图fig(5c)。
    PAF是一个每个肢体(limb)都有的2维向量。对于肢体区域中的每个像素点,2维向量都编码了肢体一部分到另一部分的方向。对不同的肢体类型,都有对应的PAF与它相关的两个身体位置相联系

    考虑下图的单个肢体:


    X是ground truth,如果P是肢体上的一点,


    如果P点在k人的c肢体上,则PAF的值为v,否则为0. 这里


    是肢体c方向上的单位向量。

    肢体上的点就被定义为在一定距离阈值内的线段,也就是点P满足:


    ground truth PAF是图像中所有人PAF的均值:


    其中Nc(P)是所有k个人的P点的非零向量数(也就是不同人的肢体在像素点上交错的平均值)

    在测试时,我们用计算相关PAF的线性积分与线段连接的方式,来度量候选区域的关联度。
    换句话说,我们连接检测到的身体部分组成的肢体,和预测到的PAF,通过判断两者是否对齐,来测量准确性、
    具体来说,对于候选区域Dj1和Dj2,对线段上的PAF采样来测量他们相关信的置信度。


    这里P(u)是Dj1和Dj2的中间插入值: P(u) = (1-u)Dj1 + uDj2
    在实际中,我们采样和累加等间隔的u,来近似求积分

    Multi-Person Parsing using PAFs

    我们使用非极大值抑制,从检测出的confidence map中来获得一组离散的候选区域位置。
    对每个位置而言,因为存在多个人,或者预测错,都可能有多个候选。

    这些候选点可以组成很多种不同的肢体组合。我们使用上面式子10,来计算不同肢体组合线性积分的置信度。
    可是这个寻找最优解的问题是一个K维匹配问题,是NP难的。(fig.6c)
    本文提出了一个贪心解法:因为PAF网络庞大的接收域,我们推测配对分数隐含编码在全局context中。

    正式来说,我们获取一组多人的身体区域的候选集Dj。这些候选集需要与同一个人的其他区域联合起来,也就是需要配对组合成肢体。我们定义变量



    来表示两个区域是否连接。对单个人而言,问题归纳为:有权重的二分图匹配问题。如图fig6b,其中每条边的权重都是式子10:



    式子13/14 确保没有两条边共享一个节点的情况
    我们可以用匈牙利算法求解最佳匹配

    为了解决NP难问题,我们添加了两个松弛(参见线性规划的松弛)。
    首先,选择最小数量的边缘来取得人体姿态的生成树骨架,而不是使用整个图,参见fig.6c
    然后,进一步分解匹配问题成一系列双边匹配子问题,然后分别判定邻近树节点的匹配,参见fig.6d。
    结果表明效果还是不错的,因为邻近树节点的关系被显式模块化在PAFs中,但是在内部,非邻近节点之间的关系又被隐式模块化在CNN中。因为CNN是通过大接收域来训练的,而且非邻近树节点的PAFs同样影响着被预测的PAF。

    有了这两个松弛方法,最终的优化问题分解成:


    Results

    两个benchmark数据集:the MPII human multi-person dataset 和 COCO 2016 keypoints challenge dataset
    评价指标是对所有的body parts使用平均精度均值(mean Average Precision mAP)

    Discussion

    相关文章

      网友评论

          本文标题:Realtime Multi-Person 2D Pose Es

          本文链接:https://www.haomeiwen.com/subject/xjvgdqtx.html