针对人像拍摄技术优化模式的选题研究，前期的任务最主要是调研研究现状，了解研究成果及进展。我们以表情识别为切入口，希望通过识别形形色色的表情借机器学习的方式来摸索出优化机器自动拍摄的途径。
以下是阅读文献时的笔记。
关于已读的表情识别的文献分类：
关于表情识别及深度学习的研究进展方面：
【深度学习研究进展_郭丽丽】
深度学习研究近况：新的半监督学习算法——判别深度置信（DDBNs）,成功应用于可视化数据分类。新的深度学习算法即深凸网络（ＤＣＮ），用来解决语音识别中可扩展的挑战。2013年国内学者又开发了一种半监督学习算法，称为卷积深度网络（ＣＤＮ），用来解决深度学习中图像的分类问题。孙志军等提出基于深度学习的边际Fisher分析特征提取算法DMFA，有效提升特征识别率。国外提出了一种新颖的被称为活跃深度网络（ＡＤＮ）的半监督学习算法，用来解决在标记数据不足的基础上进行情感分类的问题。
需要进一步研究的问题：模型训练时间过长，如果把训练合并，并提高训练的速度，那么深度学习的实用性会大大提高；是否可以提出新的更加有效且更容易做理论分析的的内容；针对具体的问题，是否可以建立一个通用的深度模型也值得进一步研究。
【人脸表情识别综述_王大伟，周军，梅红岩，张素娥】
人脸表情识别的一般步骤：图片获取、图像预处理（主要有图片归一化、人脸检测与定位）、特征提取及表情分类。其中：归一化包含几何归一化与灰度归一化；人脸特征提取方法有：主成分分析法（PCA），局部二值模式（LBP），光流法、ASM、Gabor；人脸表情分类方法有：BP 神经网络，k-最近邻学习法，隐马尔科夫算法，SVM,AdaBoost,Fisher线性判别（FDA）。
人脸表情识别的进一步挑战：（1）各种算法往往需要将人脸上存在的人为表情作为前景提出之后才能发挥作用，实用性不是很大。 （2）存在于三维现实生活空间中的人脸往往会受到光照而产生灰度变化。（3）表情不够精致，人类表情并非只局限于6 种基本表情，以后应该加强人脸表情的视觉认知加工等认知心理学的基础研究。（4）大多数的论文研究都是将已有的算法进行叠加组合来提高研究水平，缺少新算法的提出。
【人机交互中的表情识别研究进展_薛丽丽】
表情特征提取包括运动特征和形变特征提取。面部表情图像的运动特征包括特征点运动距离的大小及运动方向,代表性的方法包括光流法 、运动模型、特征点跟踪方法。面部特征的形变可以由形状和纹理两方面来描述, 又可以分为基于模型的方法和基于图像的方法两类。其中基于模型的方法有活动外观模型(AAM)、点分布模型(PDM)等;基于图像的方法有Gabor变换、主成分分析(PCA)等。
在鲁棒表情识别方面，Matsugu等人描述了一个基于规则的算法 , 用来识别人脸表情, 解决了表情识别中与人无关、平移、旋转和尺度变换等问题。实验结果表明, 对10余人的5 600个静态图像的微笑表情的识别率达到了97.6%。
精细表情识别包括对表情单元识别与对表情强度识别。研究者们通常使用局部特征分析和光流法等运动分析技术来对表情单元进行识别。美国卡内基梅隆大学机器人研究所的Tian和Kanade等人开发了自动人脸分析系统。
在混合表情识别方面：哈尔滨工业大学的金辉和中国科学院的高文实现了人脸面部混合表情识别系统（按时序组特征序列+概率融合）；北京科技大学的Zhao等人提出了一种基于模糊核分类和支持向量机的面部复杂表情识别方法；北京大学的武宇文考虑了基于脸部形状和结构特征的表情模糊性描述,并分析了基于脸部2维形状和结构特征描述表情模糊性的合理性和不足之处。
在非基本表情识别方面：北京航空航天大学的薛雨丽、毛峡等人基于AdaBoost方法对包括打哈欠、好奇等9种表情进行了识别[。美国加利福尼亚大学的Littlewort等人提出一个对自发的疼痛表情进行识别的系统[。美国卡内基梅隆大学的Ashraf等人利用活动外观模型来识别疼痛表情。印度的Saradadevi等人通过对嘴巴的跟踪和对打哈欠的识别来检测驾驶员的疲劳状态。
存在的问题与局限：大多数研究仍局限于对设定表情的识别,尚缺鲁棒性。多数研究仍停留在高兴、悲伤、惊讶、愤怒、嫌恶、害怕等基本表情识别的研究上, 但基本表情并不能涵盖人类的主要表情, 为了提高人工情感的表达能力, 就需要识别更多的表情(如细微表情、混合表情、非基本表情)。
关于动态识别方面：
【RGB-D 动态序列的人脸自然表情识别_邵 洁 , 董楠 】
区别于以二维静态图像为对象的传统人脸表情识别, 提出一种针对RGB-D 动态图像序列分析的人脸自然表情自动识别算法,该算法提取基于颜色和深度图像的四维纹理信息表征人脸外貌特征, 并采用SFA 算法完成自动表情状态识别得到表情峰值,建立该时刻的人脸三维几何模型.整个过程首先针对预处理后的RGB-D 表情图像序列提取四维时空纹理特征作为局部动态特征; 再利用慢特征分析自动检测表情序列的峰值图像, 并提取脸部三维几何模型为全局静态特征; 最后结合动、静态特征, 经主成分分析降维后输入条件随机场模型完成特征训练和表情识别. 经由BU-4DFE 人脸表情库验证表明, 该算法不但比传统静态表情识别算法和其他动态算法具有优越性, 而且能够针对自然展现的表情实现自动识别。
【人脸表情的实时分类_王宇博 艾海舟 武勃 黄畅】
提出一种基于连续Adaboost算法的人脸表情实时分类方法。使用Haar特征设计了具有连续致信度输出的查找表型弱分类器形式，构造出弱分类器空间，采用连续Adaboost算法学习出人脸表情分类器。实验结果表明：文中方法与支持向量机方法相比，对于人脸表情分类的正确率相当，而速度快近300倍，具有实时性。
【一种同步人脸运动跟踪与表情识别算法_於 俊，汪增福，李 睿】
针对单视频动态变化背景下的人脸表情识别问题，提出了一种同步人脸运动跟踪和表情识别算法，并在此基础上构建了一个实时系统．该系统达到了如下目标：首先在粒子滤波框架下结合在线外观模型和柱状几何模型进行人脸三维运动跟踪；接着基于生理知识来提取人脸表情的静态信息；然后基于流形学习来提取人脸表情的动态信息；最后在人脸运动跟踪过程中，结合人脸表情静态信息和动态信息来进行表情识别．实验结果表明，该系统在大姿态和丰富表情下具有较好的综合优势.
进一步可能研究方向：寻找措施来减少人脸表情识别中光照和个体相关性的影响．建立增量流形学习的方法使得当来新训练数据时不需要重复整个训练过程.
【容忍姿态变化的人脸表情识别方法研究_于永斌】
（1）针对人脸表情底层视觉特征无法表达高层语义的问题，提出一种基于语义属性的人脸表情识别新方法。
该方法利用表情语义属性这一中间人脸表情特征表示方法可在个别类别样本很少的情况下共享情感特征信息的特点，通过统计人脸表情AU(Action Unit)编码建立表情语义属性与表情类别矩阵，然后采用SIFT(Scale—Invariant——Feature Transform)底层视觉特征训练获得语义属性标注器，最后利用贝叶斯模型识别人脸表情。在CK+和BU．3DFE两个公开人脸表情数据库上的实验结果表明，与其它底层特征提取方法相比，该方法能有效提取表情特征信息并且把8种表情类别的平均识别率提高了4％。
（2）针对人脸表情图像中出现人脸姿态、尺度和人物等条件变得复杂时，识别准确率也随之降低的问题，提出基于多姿态人脸表情识别的层次主题模型。
该方法在表情识别之前，首先结合局部纹理特征和全局几何信息学习人脸表情的中间层特征表示。通过共享不同姿态之间的特征池信息，可以对不同的姿态使用统一的解决方案，而不需要对每个姿态训练相应的模型参数。这种共享特征与模型参数的方法可以扩展到姿态多样的现实场景人脸表情识别系统中。该方法在多姿态人脸表情识别标准库和网络图像上都取得较好的识别结果.
3)针对层次主题模型中人脸不正确的特征点信息会干扰多姿态人脸表情特征提取的问题，提出基于层次深度模型的姿态无关人脸表情识别方法。该方法在人脸检测之后，不需要再进行人脸特征点定位、直接使用检测到的整个人脸区域完成姿态无关人脸表情识别。实验结果表明，该方法对人脸检测误差具有一定的鲁棒性，并且提高了识别准确率。
关于微表情识别方面：
【人脸微表情识别综述_徐峰, 张军平】
微表情数据集有: 芬兰Oulu大学的SMIC (Spontaneous microexpression corpus)和SMIC 2、中国科学院的CASME (Chinese Academy of Sciences microexpression) 和CASME II、美国南佛罗里达大学的USF-HD和日本筑波大学的Polikovsky dataset.
目前微表情的识别方法：针对识别：基于LBP-TOP 的识别方法，基于STCLQP 的识别方法（完备局部量化模式(Completed local quantized pattern, CLQP) 是LBP 的一项改进工作，STCLQP(Spatial temporal completed local quantized pattern) 是CLQP 在三维时空的扩展），基于LBP-SIP（(Local binary pattern with six intersection points） 的识别方法（主要改进就是降低了特征的维度,提高特征抽取的效率），基于Delaunay 时域编码的识别方法，基于时空梯度特征的识别方法，基于Gabor 特征的识别方法，基于颜色空间变换的特征增强，基于STLBP-IP 的识别方法，基于FDM 的识别方法，基于MDMO 的识别方法，基于判别式张量子空间分析的识别方法，基于稀疏张量典型相关性分析的识别方法，基于MMPTR 的识别方法，基于RPCA 的识别方法。针对微表情分类有：基于CBP-TOP 的分类方法，基于Riesz 小波变换的识别方法，基于运动模式放大的分类方法，基于特定点跟踪的特定动作单元识别。针对检测：基于几何形变建模的检测方法，基于特征差异的检测方法，基于光流场积分的阶段分割方法，基于特征差异的微表情顶点定位，基于Strain Tensor 的检测方法。
存在问题：近年来出现了不少从运动角度描述微表情的工作, 在保证识别性能的前提下, 给出了良好的可解释性. 然而, 基于稠密光流场的特征耗时较长, 对于微表情这样仅持续很短时间的面部运动显得代价过大, 几乎无法应用到实时检测中。
未来研究方向：对微表情的精细化预处理，确立一组对微表情有效的预处理流程；在长视频中高效地检测微表情的出现；高效的微表情识别；微表情动作单元的识别。
【基于微表情特征的表情识别研究_赵中原】
针对微表情特征，提出基于差分定位与光流特征提取的间接微表情识别方法：
1)针对微表情动作幅度小及数据特征冗余的问题，采用图像差分算法定位脸部运动区域：将人脸划分为不同的表情敏感部位并分别进行图像序列差分，通过差分投影值划定人脸运动区域，锁定表情动作部位，将待处理区域大大缩小，避免不相关部位的影响。
2)提出基于光流分析与PCA的运动特征提取算法：在脸部运动区域准确定位的基础上，采用光流分析，获得各区域像素点的运动状态；然后，通过PCA算法提取运动区域光流的主成分特征，降低像素点运动状态特征的维度。
3)提出基于AUs分类和SVM算法的间接微表情识别方案：以各运动区域光流的主成分特征作为输入，通过SVM判断脸部AUs分类，最后结合脸部动作编码系统理论(微表情定义与分类的基础)提出的AUs与人物微表情的对应关系，推导微表情类别。
通过差分定位算法与光流PCA特征提取算法，获得脸部动作关键特征并降低特征维数：通过基于SVM的AUs识别与表情推导，降低分类难度。实验结果分析表明，锥法在识别效率与准确度上都有一定增加，提升了微表情自动识别水平。
局限性：本文所提出的微表情识别算法并不能实现视频中人脸表情的自动识别，方案未涉及人脸检测；算法仅能处理含有微表情的图像序列并对所含微表情进行自动分类，不能判断是否含有微表情；本文所提出的微表情识别算法的计算效率有所提升，但是对于实时监控视频，该算法仍然无法迅速判断人物表情，如何快速处理高帧率的实时数据仍需进一步研究。
【微表情识别的理论和方法研究_刘宇灏】
（1）建立了一个诱发的微表情数据库。
（2）概述了一套完整的微表情识别工作,包括微表情晌序列预处理、微表情检测、微表情特征提取、微表倩分类,进行了一系列基准实验。
（3）提出了一种基于深度置信网络(DeepBeliefNetwork,DBN)的微表情识别方法。将深度学习与微表情识别研巧结合在一起,先对微表情数据进行扩充祥本,再提取动态特征输入到深度置信网络中,并在预训练、微调过程中调节参数,最终得到了较好的识别率。
（4）提出了一种基于H维卷积神经网络（3D-CNN)的微表倩识别方法。在CNN的基础上,发展了一种三维卷积神经网络(3D-CNN)的网络结构,用3D-CNN提取微表情动态视频的特征,并对其进行分类。3D-CNN是一种新的深度学习网络,增加了对于时间信息的卷积,因此可处理各种3D输入,可W应用于视频系列分类任务。
（5）开发了一个简单的微表情自动检测和识别系统。该系统分为两个部分:一是微表情自动检测部分,用来检测微表情视频的起始顿、峰值帧、结束帧;二是微表情自动识别部分,用来对微表情视频进行五类情感分类。
基于深度学习的各种方法篇：
【基于深度学习的表情识别研究_赵艳】
本文将堆积降噪自动编码机应用到表情识别当中，提出一种结合主成分分析和堆积降噪自动编码机的表情识别方法。在图像预处理之后使用主成分分析对人脸图像进行线性降维，然后将降维之后的特征输入到堆积降噪自动编码机再进行特征学习，与此同时，堆积降噪自动编码机对特征进行非线性的降维，从而得到维数较低而又较好的特征，并将其用于分类。对比实验表明，本文提出的基于降维的堆积降噪自动编码机的表情识别方法比文中其他几种基于深度学习及非深度学习的表情识别方法取得的表情识别正确率更高。
另外，提出一种基于 Gabor 小波和深度信念网络的表情识别方法，可以学习到结合局部及全局的特征，从而取得较高的表情识别率。
【基于深度学习的痛苦表情识别_王军】
结合深度置信网络和生成模型，提出了一种基于深度学习的痛苦表情识别方法。为了避免了过多主动因素的干预，利用深度置信网络提取痛苦表情特征，该特征能更有效地表征了痛苦特征信息。在此基础上，为了解决了痛苦识别中的小样本问题，利用生成模型，结合已标记样本和未标记样本，提出了痛苦表情半监督分类方法。在自建痛苦数据库上，利用该方法与其它几种方法进行了对比实验，实验结果表明，该方法能获得更有效的痛苦特征，并具有更高的识别精度。
【卷积神经网络在图像识别上的应用的研究_许可】
本文通过实验证明了卷积神经网络不需要太多的调整和修改就能够很好的应用到手写数字识别和人脸识别问题上,并取得了较好的识别效果。
【基于Gabor特征与深度自动编码器的笑脸识别方法_梁湘群】
采用了压缩自动编码器和去噪压缩自动编码器两种不同的自动编码器模型堆叠的深度网络模型对笑脸进行识别分类。实验结果表明，该深度模型识别笑脸的方法是可行的，并且该方法优于分别由压缩自动编码器和去噪压缩自动编码器堆叠形成的深度网络。
研究了两种 Gabor 融合特征与深度自动编码器模型结合实现笑脸分类的有效性，比较了将 Gabor 融合特征和原始图像数据作为深度自动编码器输入时笑脸识别的性能。实验结果表明，利用深度自动编码器学习表情多方向 Gabor 融合特征比学习像素级表情图像所耗费的时间更短，速度更快，同时，融合特征在某种程度上更有利于非限制真实环境下的表情图像识别。
【CNN 深度学习模型用于表情特征提取方法探究_张昭旭】
针对CNN 在图像识别方面的优势，提出一种基于CNN 的人脸表情特征提取方法。使用具有8 层网络结构的AlexNet 模型对融合的人脸表情图像进行特征提取，再使用支持向量机（SVM）进行分类预测。将预测结果与一些经典方法如SVM、PCA 等做比较，可发现在样本图片拍摄条件变化较大的情况下，CNN 在提取图像本质特征方面效果较好。
【基于数据融合的表情识别_张友梅，张伟】
为了解决表情识别中单一数据所包含人脸表情信息不全面的问题，融合了图像与标记点数据；针对传统模式识别方法中手动提取特征的复杂性，采用神经网络框架，从而实现了特征的自动提取。本文算法以人脸表情的图像与标记点数据为基础，以神经网络为框架，采用稀疏自动编码器对网络进行预训练，实现了网络的稀疏连接，另外，在网络权值更新过程中结合了结构化正则项(structured regularization)，限制了不同数据与隐层神经元的连接。实验表明：图像与标记点数据的融合更全面地表达了人脸表情信息；稀疏自动编码器和结构化正则项的运用能更有效地提取关键特征，并使神经网络自动分析不同输入数据在表情识别中所起到的作用强弱。
【基于语义属性的人脸表情识别新方法_于永斌，刘清怡，毛启容，詹永照】
对人脸表情底层视觉特征无法表达高层语义的问题，提出一种基于语义属性的人脸表情识别新方法。该方法利用表情语义属性这一中间人脸表情特征表示方法可在个别类别样本很少的情况下共享情感特征信息的特点，通过统计cK+库中人脸表情Au(ActionuIlit)编码建立表情语义属性与表情类别矩阵，然后采用s口盯(scale—Invariant Featurel'瑚sfom)底层视觉特征训练获得语义属性标注器，最后利用贝叶斯模型识别人脸表情．在cK+和Bu-3DFE两个公开人脸表情数据库上的实验结果表明，与其它底层特征提取方法相比，该方法能有效提取表情特征信息并且把8种表情类别的平均识别率提高了4％．
【基于稀疏表示的KCCA 方法及在表情识别中的应用_周晓彦，郑文明，辛明海】
为尽可能排除这些影响表情识别的因素如图像特征中存在与情感语义无关的信息及噪声干扰等因素,提出一种基于稀疏表示的核典型相关分析方法,并将其应用于表情识别中. 该方法的基本思想是应用稀疏学习方法来自动选择表情特征矩阵中的关键特征谱成分进行表情特征与情感语义特征之间的相关性建模,然后通过建立的模型完成对待测表情图像的语义特征估计,并用于表情的分类识别. 为验证所提方法较传统的基于核典型相关分析方法的优越性,选取国际标准表情数据库JAFFE 进行实验,实验结果证实了所提方法的有效性.
关于自动拍摄的文献总结下次再T.T。
下面是今天的重大发现-_-
网友评论