美文网首页
第三章-浅层神经网络

第三章-浅层神经网络

作者: 人机分离机 | 来源:发表于2017-11-16 17:29 被阅读0次

    3.1 概论

    1. 逻辑回归



      中间层的隐藏单元中的计算
    • 首先你需要输入特征 x,参数W 和b ,通过 z = w^t * x + b T 你就可以计算
      出 z ,接下来使用 a = a(z) 就可以计算出a。我们将a的符号换为表示输出的 ŷ,然后可以计算出损失函数ℒ(a,y)。
    1. 基本神经网络结构


    • 首先 X 表示输入特征,W 和 b 是参数,z1 = Wx + b1计算出 z1。
    • 使用x^(i)表示第 i 个训练样本,上标方括号 1、2 表示不同的层,图中[1]表示神经网络的第一层, [2]表示神经网络的第二层 。
    • 类似逻辑回归,在计算z^[1] 后需要使用σ(z^[1])计算 a^[1],接下来你需要使用另外一个线
      z^[2] = W^[2] * a^[1] + b^[2]计算 z^[2], a^[2] = σ(z^[2]) 计算a^[2] ,此时a^[2] 就是整个神经网络最终的输出,用 𝑦表示网络的输出。
    1. 反向计算

    3.2 神经网络表示

    1. 神经网络的符号惯例:
      x 表示输入特征
      a 表示每个神经元的输出, w 表示特征的权重,
      上标表示神经网络的层数(隐藏层为 1),下标表示该层的第几个神经元。
    2. 结构
    • 输入层
    • 隐藏层(很好解释了之前在第一章的疑惑):在一个神经网络中,当你使用监督学习训练它的时候,训练集包含了输入 也包含了目标输出 ,所以术语隐藏层的含义是在训练集中,这些中间结点的准确值我们是不知道到的,也就是说你看不见它们在训练集中应具有的值。你能看见输入的值,你也能看见输出的值,但是隐藏层中的东西,在训练集中你是无法看到的。所以这也解释了词语隐藏层,只是表示你无法在训练集中看到他们。
    • 简单点说,隐藏层就是把中间处理的过程隐藏起来而没有显性显示出来
    • 输出层
    1. 数据表示
    • 隐藏层以及最后的输出层是带有参数的,参数个数与隐藏层单元/节点有关
    • 传统上(两层的神经网络):输入层是不算入总层数内,所以隐藏层是第一层,输出层是第二层。
    • 技术上(三层的神经网络):因为这里有输入层、隐藏层,还有输出层。

    3.3 神经网络的输出

    中间的求导过程
    四个方程求神经网络
    • 注:z代表隐藏层,这里有两个隐藏层

    3.4 多样本向量化

    • 多个训练样本,则重复计算每个样本的4个方程(for循环)
    • 利用向量化简化该过程


    • 水平方向,这个垂直索引对应于神经网络中的不同的训练样本。
    • 垂直方向,这个垂直索引对应于神经网络中的不同节点。

    3.5 向 量 化 实 现 的 解 释

    3.6 激活函数( Activation functions)

    相关文章

      网友评论

          本文标题:第三章-浅层神经网络

          本文链接:https://www.haomeiwen.com/subject/vftrvxtx.html