美文网首页
2018-02-19 浅层神经网络(一)

2018-02-19 浅层神经网络(一)

作者: 瑶瑶_2930 | 来源:发表于2018-02-19 23:34 被阅读0次

    写在前面

    今天学的大概就是单隐层神经网络,可是为什么要加一个隐藏层进行训练不是很明白。开始讲了一些notation,然后是如何计算神经网络的输出,每一层每个节点的计算,以及实现一个训练样本的向量化,从而推广到多个训练样本,其实都是举一反一,不过要注意的是写法,通常在一个矩阵中,竖向排列的通常是每个节点的数据,而横向排列的通常是训练样本。最后讲了不同层不同激活函数的优劣。

    神经网络表示

    • 中括号表示第几层,没什么特别好说明的,图已经很详细了


      屏幕快照 2018-02-19 下午11.17.49.png

    计算神经网络输出

    • 选sigmod函数作为激活函数,和单个神经元算法接近,同时,第一层的输出作为输出层的输入计算,以及向量化。如图:


      屏幕快照 2018-02-19 下午11.19.38.png

    多个样本中的向量化(略)

    激活函数

    sigmod tanh() ReLU
    优点 二分分类 均值接近0 学习速度快
    缺点 当z很大或很小时梯度很小 同前 当z为负时,导数为0

    (附markdown格式注意事项:短横线必须和表头字母个数相同,空格数也要相同)

    相关文章

      网友评论

          本文标题:2018-02-19 浅层神经网络(一)

          本文链接:https://www.haomeiwen.com/subject/kkpwtftx.html