Shallow Neural Network

Nerual Networks Overview

神经元网络就是把算法分解成一个个层，每次计算都回归优化前面的层，一次次优化得到最终解

Neural Network Representation 神经网络代表

以方括号上标代表层数， 0 层为输入层 最后一层为输出层 中间为隐藏层

Computing a Neural Network's Output

隐藏层每一个节点用下标数字和上标方括号数字代表， 没有下标的时候代表整体该层产出

Vectorizing across multiple examples

image.png image.png

Explanation for Vectorized Implementation

image.png
image.png

Activation functions 激活函数

常见的激活函数

image.png

Why do you need non-linear activation functions

如果你选择一个线性函数 那么如果没有激活函数 你的结果永远是线性的

Derivatives of activation functions 激活函数导数

激活函数导数

Gradient descent for Neural Networks 神经网络梯度下降

正向传播和反向传播

初始化的知识

后向传播

image.png