Ordinal Regression with Multiple

Paper Reading Note

URL: https://www.cv-foundation.org/openaccess/content_cvpr_2016/app/S21-20.pdf

TL;DR

本文将年龄预测问题转换为序数回归（ordinal regression）问题，结合CNN实现端到端年龄预测，取得了当时SOTA的性能。

---

Dataset/Algorithm/Model/Experiment Detail

Ordinal Regression

Ordinal Regression问题就是样本集的label取自一个rank集合，不同的rank之间有顺序，而问题的求解就是找到一个样本到rank的映射，使得预定义的cost函数最小。

Approach

本文将Ordinal Regression问题转换为一系列2分类子问题。

对于有K个rank的问题，将其转换为K-1个2分类问题，即对于每一个 image

，构建一个2分类器用来判断某个样本 yi 的rank是否大于 rk 。

具体的，给定训练集 image ，对于第k个2分类任务，可以构建一个对应的训练集 image

，其中 yki 表示第i个样本的rank是否大于 rk ，公式如下：

image

其中 wki 表示第i个样本的权重，在本文中设置为1。
在预测年龄时，通过整合多个2分类器的结果来得到最终的结果：

image

以上， x′ 表示待测试样本， rq 为预测rank，其序号q为多个2分类器预测结果的求和。

Architecture of the Multiple Output CNN

本文使用一个多输出的CNN训练多个2分类器，具体网络结构如下：

image

对应的损失函数为多个2分类器对应cross-entropy loss的加权求和：

image

其中， λt 表示不同2分类器对应任务的重要程度。

Experiments

本文release了一个亚洲人脸的年龄数据集Asian Face Age Dataset (AFAD) ，数据都是从renren上爬的带有真实年龄标签的数据，但是年龄分布只有15-40岁。

评价指标是预测年龄和真实年龄间的平均绝对误差（Mean Absolute Error，MAE），本文方法在多个数据集上性能都是最优的。

image

本文对比了使用普通回归方法和Ordinal Regression方法进行年龄预测的性能对比，可以表明Ordinal Regression方法的有效性。

image

关于 λt ，作者认为其表示不同任务的相对重要性，可以由不同任务模型的可靠性决定。作者认为对于第k个2分类器的学习，年龄rank接近 rk 的样本数目要比其他样本重要，也就是说年龄rank为 rk 的样本越多，那么更有利于对应模型的训练，所以应该赋以更大的权值，因此本文中 λt 的计算公式：

image

其中, Nk 表示rank为 rk 的样本数目。
对比均一化取值的 λt 与本文所使用的 λt 计算方法，本文基于数据分布计算的权值可以稍微涨点。

image

Thoughts

Ordinal Regression方法在年龄预测这种回归任务上的性能提升表现了该方法在回归任务上的有效性，该方法在其他类似回归任务上（如pose 、blur等）应该也会有效。