写在前面
今天学的大概就是单隐层神经网络,可是为什么要加一个隐藏层进行训练不是很明白。开始讲了一些notation,然后是如何计算神经网络的输出,每一层每个节点的计算,以及实现一个训练样本的向量化,从而推广到多个训练样本,其实都是举一反一,不过要注意的是写法,通常在一个矩阵中,竖向排列的通常是每个节点的数据,而横向排列的通常是训练样本。最后讲了不同层不同激活函数的优劣。
神经网络表示
-
中括号表示第几层,没什么特别好说明的,图已经很详细了
屏幕快照 2018-02-19 下午11.17.49.png
计算神经网络输出
-
选sigmod函数作为激活函数,和单个神经元算法接近,同时,第一层的输出作为输出层的输入计算,以及向量化。如图:
屏幕快照 2018-02-19 下午11.19.38.png
多个样本中的向量化(略)
激活函数
sigmod | tanh() | ReLU | |
---|---|---|---|
优点 | 二分分类 | 均值接近0 | 学习速度快 |
缺点 | 当z很大或很小时梯度很小 | 同前 | 当z为负时,导数为0 |
(附markdown格式注意事项:短横线必须和表头字母个数相同,空格数也要相同)
网友评论