激活函数

屏幕快照 2017-11-06 下午7.15.13.png

sigmod不如tanh，一般用于二分类输出层
隐藏层一般选择Relu，Relu比sigmod或者tanh速度快是因为，斜率不会接近0（足够多的隐藏层单元数量，所以实际中不会出现Z为0的情况）
据说leaky Relu优于Relu

吴恩达DL课程学习笔记——NN & DL（第三周）
第三周——浅层神经网络 1、神经网络概述比较简单，没有什么需要笔记记录的。 2、神经网络表示（1）只有一个隐藏...
吴恩达深度学习-神经网络基础（浅层神经网络）
第三周浅层神经网络： 3.1 神经网络概览3.2 神经网络表示 loss function L(a，y)...
1.3 浅层神经网络（One hidden layer Neur
从今天开始，本人将继续学习吴恩达教授的深度学习课程第一部分神经网络和深度学习第三周浅层神经网络的相关课程，这部分课...
【学习笔记】第三周浅层神经网络
单个样本，注意W的维度为（4，3），4表示隐藏层单元个数，3表示单元输入变量的个数；x为列向量 m个样本 m个样本...
第三周浅层神经网络笔记
表示第i个样本表示样本的第i个特征所以这里的x都是列向量 L(y,y)是单个损失函数 J 是所有训练样本的逻辑...
神经网络和深度学习 - Chapter3 浅层神经网络
什么是神经网络？下面这个浅层神经网络，由多个Logistic Regression堆叠而成；浅层神经网络的反向传...
图床
浅层神经网络：
用numpy写神经网络
1 浅层神经网络
卷积神经网络记录
1、深度学习发展史大致经历两次浪潮：浅层学习，深度学习 Geoffrey Hinton 神经网络之父 AlexN...
二、浅层神经网络
二、浅层神经网络 1.神经网络神经网络是机器学习中的一种模型，是一种模仿动物神经网络行为特征，进行分布式并行信息...