美文网首页
第六章 深度前馈网络

第六章 深度前馈网络

作者: QQYang | 来源:发表于2017-10-26 09:12 被阅读0次

6.2 基于梯度的学习

神经网络的非线性导致代价函数变成了非凸函数,意味着基于梯度的迭代优化不一定能收敛到全局最优。

所以,对代价函数的优化结果对于参数的初始值很敏感,需要将所有权重的初始化为小的随机数,偏置初始化为零或者小的正值

6.2.1 代价函数

6.2.1.1 使用最大似然学习条件分布

代价函数

(code:$\mathit{J(\theta )}=-\mathbb{E}_{x,y\sim \hat{p}_{data}}log\,p_{model}(y|x)$)

中的期望所对应的分布是训练数据集的分布,P model的分布是神经网络所表示的分布

因为log容易饱和,这里有两个办法来避免:1.取-log,2.输出单元具有指数形式,能够抵消log

最大似然函数在实践中常常没有最小值,因为输出单元需要取+∞、-∞或0时才能让最大似然函数取到最小值

6.2.1.2 学习条件统计量


相关文章

  • 深度学习 学习XOR函数

    刚刚看了深度学习的第六章 深度前馈网络的第一个实例,学习XOR函数。简单的说明了深度前馈网络的结构。 一、这个例...

  • 前馈神经网络

    1 深度前馈网络 深度前馈网络(deepfeedforwardnetwork),也叫作前馈神经网络(feedfor...

  • Day6 Chapter6.1

    深度前馈网络 三个名字: 深度前馈网络( deep feedforward network)前馈神经网络( fee...

  • 人工智能之深度学习——深度前馈网络

    深度前馈网络(Deep Feedforward Network)是具有深度结构的前馈神经网络,可以看成是进化...

  • 深度前馈网络

    本文首发自公众号:RAIS,点击直接关注。 前言 本系列文章为《Deep Learning》读书笔记,可以参看原书...

  • 深度前馈网络

    看过西瓜书和李航的《统计学习方法》,对机器学习的基本算法算是有了初步的理解。机器学习的算法和思想固然重要,在实际中...

  • 第六章 深度前馈网络

    6.2 基于梯度的学习 神经网络的非线性导致代价函数变成了非凸函数,意味着基于梯度的迭代优化不一定能收敛到全局最优...

  • 《深度学习》之第六章深度前馈网络

    机器学习中常见的逻辑回归和线性回归,都是线性的,它们简单高效。 但也有明细缺陷,表达能力弱,无法描述非线性问题。为...

  • CNN学习笔记

    卷积神经网络-CNN 卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络,是深度学习(deep learn...

  • 65-R语言训练深度预测模型

    《深度学习精要(基于R语言)》学习笔记 1、概览 本文涉及以下主题:• 深度前馈神经网络入门• 常见的激活函数:整...

网友评论

      本文标题:第六章 深度前馈网络

      本文链接:https://www.haomeiwen.com/subject/hgshpxtx.html