美文网首页
多层感知机的BP算法

多层感知机的BP算法

作者: 若罗 | 来源:发表于2019-05-14 14:40 被阅读0次

设输入层为`$x_1,x_2$`,唯一的一层隐藏层的节点为`$z_1,z_2,z_3$`,输出层为`$y$`.

设输入层的权重为`$w_{111},w_{112},...,w_{1ij}$`.w下第一位表示第一层的权重，第二位表示x的下标，第三位表示隐藏层的下标。隐藏层各节点的权重为`$w_{211},w_{221},...,w_2j1$`，同理，只是因为输出层只有一个y。

设阶跃函数为g，`$u_{21}$`为阶跃函数的输入值，也就是中间层输出的线性加权

\frac{\partial E}{\partial w_{2j1}} = \frac{\partial E}{\partial y} \frac{\partial y}{\partial u_{21}} \frac{\partial u_{21}}{\partial w_{2j1}} =-(r-y)y(1-y)z_j

E对y是最小二乘，求导是`$-(r-y)$`

y对u是sigmoid函数，求导是`$y(1-y)$`

线性组合u对`$w_{2j1}$`的求导是`$z_j$`

第二层的线性组合对第一层的权重求导

\frac{\partial u_{21}}{\partial w_{1ij}}= \frac{\partial u_{21}}{\partial z_j} \frac{\partial z_j}{\partial w_{1ij}} = \frac{\partial u_{21}}{\partial z_j} \frac{\partial z_j}{\partial u_{1j}} \frac{\partial u_{1j}}{\partial w_{1ij}}

其中

u_{1j} = \sum_jw_{1ij}x_i

继续

\frac{\partial z_j}{\partial u_{1j}} \frac{\partial u_{1j}}{\partial w_{1ij}} =z_j(1-z_j)x_i

综上所述

\frac{\partial E}{\partial w_{1ij}} = -(r-y)y(1-y) \frac{\partial u_{21}}{\partial w_{1ij}} \frac{\partial u_{21}}{\partial w_{1ij}} = w_{2j1}z_j(1-z_j)x_i \frac{\partial E}{\partial w_{1ij}} = -(r-y)y(1-y)w_{2j1}z_j(1-z_j)x_i

然后更新第二组和第一组的权重(为了使损失函数变小，偏导数如果是正，则说明该权重越大，损失值越大，为了让损失值变小，则要减去该偏导数。如果偏导数为负，则说明该权重越大，损失值越小，那么则要减去这个为负的偏导数，让该权重变大。)

w_{2j1} \leftarrow w_{2j1} + \alpha (r-y)y(1-y)z_j w_{1ij} \leftarrow w_{1ij} + \alpha (r-y)y(1-y)w_{2j1}z_j(1-z_j)x_i

上面的式子因为减去一个负号，两个负号抵消成加号

相关文章

  • 多层感知机的BP算法

    设输入层为`$x_1,x_2$`,唯一的一层隐藏层的节点为`$z_1,z_2,z_3$`,输出层为`$y$`. 设...

  • (九)神经网络之BP网络

    一. 算法描述 BP网络和感知机一样，是前馈神经网络的代表，不同在于BP网络是一种多层且复杂的神经网络。而BP算法...

  • TensorFlow实现多层感知机

    多层感知机 算法简介： 多层感知机是基于反向人工神经网络（feedforwardartificial neural...

  • R做深度学习之-MLP二分类问题

    深度理解多层感知机MLP[https://cleverbobo.github.io/2020/08/30/bp/]...

  • 一文理清深度学习前馈神经网络

    ? Index 多层感知机（MLP）介绍 深度神经网络的激活函数 深度神经网络的损失函数 多层感知机的反向传播算法...

  • BP神经网络下MNIST字体识别

    1. BP神经网络 神经网络 又称多层感知机，主要包括前馈和反向传播算法，对不同的任务，构建包含不同单元数的隐含层...

  • 2019-07-25 深度学习

    机器学习 - 神经网络 - 深度学习 图像 文本 语音 深度学习算法比机器学习都要好很多bp算法：多层感知器的误差...

  • 动手学深度学习(三) 多层感知机

    多层感知机 多层感知机的基本知识 使用多层感知机图像分类的从零开始的实现 使用pytorch的简洁实现 多层感知机...

  • 多层感知机 2020-02-18

    多层感知机 多层感知机的基本知识 使用多层感知机图像分类的从零开始的实现 使用pytorch的简洁实现 多层感知机...

  • 多层感知机

    多层感知机 多层感知机的基本知识 使用多层感知机图像分类的从零开始的实现 使用pytorch的简洁实现 多层感知机...

网友评论

      本文标题：多层感知机的BP算法

      本文链接：https://www.haomeiwen.com/subject/ermsaqtx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|多层感知机的BP算法|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！