将21范数应用到NMF的一篇论文，写的有些简略，后面有时间再补充
Abstract
- 非负矩阵分解（NMF）是用于数据分析的应用最广泛的聚类技术之一。
- 由于目标函数中含有每个数据点的平方残差误差，因此易受极端值影响。
- 本文提出鲁棒流形非负矩阵分解（RMNMF）方法，使用21范数，并在相同的聚类框架下集成NMF和谱聚类。
- 本文还指出了现有NMF方法的解决方案唯一性问题，并提出了一个额外的正交约束来解决这个问题。
- 通过基于增广拉格朗日方法（ALM）解决了困难的优化问题。
- 本文还介绍了本文方法和鲁棒K-means方法以及谱聚类的联系，并证明了理论意义。
INTRODUCTION
- NMF应用很广泛而且效果很好，但是存在以下几个问题：1. 必须限制矩阵元素为非负的，限制了在一般数据集上的应用与可解释性；2. 每个数据点的误差被平方，鲁棒性较差；3.无法发现数据本身的流型与结构。
- 为了解决现有NMF方法中的这些缺点，本文提出了鲁棒流形非负矩阵分解（RMNMF）方法
- 创新之处在于：1. 在谱聚类中应用21范数提高鲁棒性； 利用21范数的旋转不变性增强聚类性能；2.结合了一个流形正则化项对数据中可能存在的几何信息进行编码；3.推导了新的优化算法
ORTHOGONAL MANIFOLD NMF
Semi-NMF via 21 Norm
- 将标准Semi-NMF由
变为
同时去掉了F上的非负约束
Demonstration Example
- 通过对AT&T数据集中的人脸图像加随机7*7遮挡模拟噪声数据，结果表明应用21范数的NMF方法具有更好的效果，这证明了更强的鲁棒性
Manifold Regularized NMF
- 引入拉普拉斯矩阵，目标函数变为：
因此本文所提方法既区分于GNMF和其他应用21范数的方法
COMPUTATIONAL ALGORITHM
-
本文将应用增广拉格朗日乘子法（ALM）进行优化求解，目标函数变为：
懒得敲公式了
- ALM中涉及几个参数，截图里面有介绍，具体解释也可以阅读其他关于ALM方法的论文
Initialization
- μ的初始值设置为一个较小值，10-5到10-3之间，另外两个参数初始为0矩阵
- 后续就是常规的优化求解方法，固定其他变量，每次只更新一个变量，具体过程略（建议仔细阅读，包含很多细节，论文中下文的算法详细介绍也建议仔细研究）
-
算法如下：
具体算法
- 每次迭代的时间复杂度为：
，速度与经典聚类算法相当
CONNECTIONS TO OTHER CLUSTERING METHODS
- 这一部分证明了本文所提方法与一些聚类方法的联系
Connection to K-Means
- 可以证明，本文所提方法隐式地执行了鲁棒K-Means聚类
Connection to Spectral Clustering
- 当满足
时，本文所提方法等同于谱聚类
- EXPERIMENTAL RESULTS
- 实验略。
网友评论