8.1 Restricted Boltzmann Machine

Geoff Hinton发明

用途：降低维度, 分类, 回归, 特征学习

非监督学习(unsupervised learning)，不知道数据的标签

activation f((weight w * input x) + bias b ) = output a

多个输入:

多个隐藏层:

Reconstructions:

隐藏层变成输入层，反向更新，用老的权重和新的bias：

回到原始输入层: 算出的值跟原始输入层的值比较, 最小化error, 接着迭代更新: 

 正向更新: 用输入预测神经元的activation, 也就是输出的概率, 在给定的权重下: p(a|x; w) 

反向更新的时候: activation被输入到网络里面,来预测原始的数据X, RBM尝试估计X的概率, 对于给定的activation a: p(x|a; w)