美文网首页深度学习笔记
吴恩达深度学习笔记(15)-浅层神经网络之神经网络概述

吴恩达深度学习笔记(15)-浅层神经网络之神经网络概述

作者: 极客Array | 来源:发表于2018-12-01 20:52 被阅读32次

    神经网络概述(Neural Network Overview)

    从今天开始你将学习如何实现一个神经网络。这里只是一个概述,详细的在后面会讲解,看不懂也没关系,先有个概念,就是前向计算然后后向计算,理解了这个就可以了,有一些公式和表达在后面会详细的讲解。

    在我们深入学习具体技术之前,我希望快速的带你预览一下后续几天你将会学到的东西。

    现在我们开始快速浏览一下如何实现神经网络。之前我们讨论了逻辑回归,我们了解了这个模型(见图)如何与下面公式建立联系。 

    公式1:

    如上所示,首先你需要输入特征x,参数w和b,通过这些你就可以计算出z,

    公式2:

    接下来使用z就可以计算出a。

    我们将的符号换为表示输出y^⟹a=σ(z),然后可以计算出loss function L(a,y)

    神经网络看起来是如下这个样子(如下图)。正如我之前已经提到过,你可以把许多sigmoid单元堆叠起来形成一个神经网络。对于上图中的节点,它包含了之前讲的计算的两个步骤:首先通过上面公式计算出值z,然后通过σ(z)计算值a。

    在这个神经网络(上图)对应的3个节点,首先计算第一层网络中的各个节点相关的数z^[1],接着计算α^[1],在计算下一层网络同理;

    我们会使用符号[m]表示第m层网络中节点相关的数,这些节点的集合被称为第m层网络。

    这样可以保证[m]不会和我们之前用来表示单个的训练样本的(i)(即我们使用表示第i个训练样本)混淆;

    整个计算过程,公式如下:

    公式3:

    公式4:

    类似逻辑回归,在计算后需要使用计算,接下来你需要使用另外一个线性方程对应的参数计算z^[2], 计算a^[2],此时a^[2]就是整个神经网络最终的输出,用 y^表示网络的输出。

    公式5

    公式6:

    我知道这其中有很多细节,其中有一点非常难以理解,即在逻辑回归中,通过直接计算z得到结果a。而这个神经网络中,我们反复的计算z和a,计算a和z,最后得到了最终的输出loss function。

    你应该记得逻辑回归中,有一些从后向前的计算用来计算导数da、dz。同样,在神经网络中我们也有从后向前的计算,看起来就像这样,最后会计算da^[2] 、dz^[2],计算出来之后,然后计算计算dW^[2]、db^[2] 等,按公式3.5、3.6箭头表示的那样,从右到左反向计算。

    现在你大概了解了一下什么是神经网络,基于逻辑回归重复使用了两次该模型得到上述例子的神经网络。

    话说回来,我们就像是在认识李清照,现在看到的是李糊照,所以不要担心(安慰)。

    相关文章

      网友评论

        本文标题:吴恩达深度学习笔记(15)-浅层神经网络之神经网络概述

        本文链接:https://www.haomeiwen.com/subject/vqbkcqtx.html