- 1943 McCulloch-Pitts神经元模型 ——确定权重的公式
- 1956 感知机模型(Preceptron)——两个类,通过一条直线把两个类分开;
- 2006深度信念网络
- 2007卷积神经网络

- 当hidden layer大于2时,就叫深度神经网络,否则就叫做浅层神经网络;
- 通过简单的神经元组合成复杂的神经网络,单个的神经元可以是递归的、前馈的……
- 计算上面这个模型的权重的时候,需要用到梯度下降这个思想:

其中第3部分的参数是学习率。
- 关于梯度的计算有很多成熟的包可以辅助我们完成权重的计算,例如TensorFlow、torch、theano、caffe、mxnet。
- tensor:张量,tensorflow支持python;
- pytorch支持python;
- mxnext是亚马逊支持的;
- TensorFlow支持的在线网站 : http://playground.tensorflow.org
- 卷积神经网络:

Convolution:卷积
2、循环神经网络(RNN)

- 长短记忆网络(LSTM)
- 门循环网络(GRU),LSTM去掉输入门、输出门,只保留记忆门
3、生成判别式网络
【4、clarifai图片识别接口】
深度学习 学习路径
- 数学
(1)线性代数
(2)微积分
(3)凸优化/计算方法
(4)概率论
- 机器学习
- 编程
(1)算法与数据结构
(2)Python
- 深度学习
(1)Deep Learning,lan Goodfellow,Yoshua,Bengio,etc
(2)论文
网友评论