激活函数

最简单的模型，例如线型模型：out = X*W +b
这里我要声明，这X和W 和b并不仅仅是一个常数，也可以是一个矩阵。这种线型模型很好计算出其参数。但是如果一个数据并不是线性的数据，那么这样的模型就不能解决了。

在tensorflow中我们如果将线性模型输出的值再套一层非线性函数不就变成非线性了吗？比如上面描述的线性模型 out = XW + b就变成 out = f(XW + b), 其中f(x)函数就是那个非线性函数咯。所以在tensorflow中你会听到激活函数这个概念，其作用就是解决非线性问题的。

激活函数解决了非线性问题
sigmoid 函数

sigmoid函数.jpg sigmoid曲线.jpg

relu函数
R(Z) = max(0, z)

但是可能我们一层的计算参数可能是没法很好的拟合，那我们可以增加层数。

前向传播.png