深度学习——线性因子模型

《深度学习》part3的笔记

线性因子模型
是一种最简单的基于潜变量的概率模型；它通过对h的线性变换以及添加噪声来生成x。

因子分析和probabilistic PCA都是线性因子模型的特例

在因子分析中，设

并且假设噪声符合高斯分布，有

如果噪声分布得条件方差等于同一个值，可得

设z为上面得噪声分布，该模型可以表示为

这就是probabilistic PCA，其背后得含义是除了少数误差（噪音z），大多数x可以用h来表述

独立成分分析
旨在将观察信号分离成可重构得潜在信号，并且这些信号是完全独立的。

例如，我们可能有n个人同时说话。如果我们在不同位置放置n个不同的麦克风，则独立成分分析可以检测每个麦克风的音量变化，并且分离信号，使得每个hi仅包含一个 人清楚地说话。

我们可以通过保证h = W⁻¹x 的独立性来解决上面的问题；独立成分分析还有很多变种，如非线性独立成分估计、独立子空间分析、地质ICA

慢特征分析
其基本思想是， 与场景中起描述作用的单个量度相比，场景的重要特性通常变化得非常缓慢。例如， 在计算机视觉中，单个像素值可以非常快速地改变。如果斑马从左到右移动穿过图 像并且它的条纹穿过对应的像素时，该像素将迅速从黑色变为白色，并再次恢复成 黑色。通过比较，指示斑马是否在图像中的特征将不发生改变，并且描述斑马位置 的特征将缓慢地改变。因此，我们可能希望将模型正则化，从而能够学习到那些随 时间变化较为缓慢的特征。

所以我们可以向代价函数添加下面的项

其中有一种算法叫做SFA

稀疏编码
如果h的分布选定为一个很尖锐的接近0的分布，比如

结合线性因子模型的定义，有

这意味着h是一个极为稀疏的变量，为了训练模型而不仅仅是进行推断，我们交替迭代h和W的优化过程。

从某种程度来说，线性因子模型是最简单的生成模型和学习数据表示的的模型。它可以扩展为自编码网络和深度概率模型。