概述

从上一节（什么是神经网络）中我们得知：神经网络是一个函数，它由神经元组成，而神经元也是一个函数。

神经元可以继续拆分成2个子函数：

• 元线性函数:
• 元非线性函数:

神经元所代表的函数为：

线性函数

线性函数有如下形式：

其中都是参数，不同的线性函数有不同的参数。

一元线性函数

当时，，其函数图像为一条直线：

二元线性函数

当时，，其函数图像为一个平面：

元线性函数

当时，其函数图像为一个超平面。超过了三维，就不方便可视化了。不过大家可以想象，其特点就是直的。

非线性函数

从名字上就很容易理解，非线性函数就是跟线性函数不一样的函数。线性函数是直的，非线性函数就是弯的。如最常见的Sigmoid函数:

激活函数

在神经网络中，我们把这个非线性一元函数叫做激活函数。一些常见的激活函数可参考知识库中的激活函数，其中：

• Linear: 是一个线性函数，代表不使用非线性函数的情况
• Softmax 是个特例。严格来讲，它不算激活函数

必要性

为什么要在线性函数后面跟一个非线性的激活函数呢？

这是因为：

1. 如果神经元都是线性函数，那么由神经元构成的神经网络也是一个线性函数。

如下面这个例子：

• 
• 
• 

那么整个神经网络所代表的函数为:



这是一个三元的线性函数。

2. 我们需要构造的目标函数包含各式各样的函数，线性函数只是其中一种。

我们希望神经网络能够模拟任意函数，而不只是线性函数。因此我们增加了一个非线性的激活函数，对线性函数进行了"弯曲"。

完整的神经元

完整的神经元融合了线性函数与非线性的激活函数，变得更有趣、更强大了。

一元函数

当时，，使用Sigmoid激活函数，神经元对应的函数为：

其函数图像为：

二元函数

当时，，使用Sigmoid激活函数，神经元对应的函数为：

其函数图像为：

元函数

由于可视化问题，此处完全靠自己想象！😥

问题

为什么神经元的组合可以模拟复杂函数？

可以直观地想象一下，如何通过简单的神经元模拟稍微复杂一点的函数。

参考软件

可交互版，请参考App： 神经网络与深度学习