机器学习-从线性回归到神经网络

outline

• 线性回归
• 逻辑回归
• softmax回归
• 神经元模型
• 激活函数
• 多层网络

本文主要简单介绍从线性回归到神经元模型的一些概念性知识。

线性回归

clipboard.png

逻辑回归(Logistic regression)

对数几率回归

clipboard.png

softmax回归

对于k分类问题，我们假设函数针对每一个类别j估算出概率值p(y=j|x),即估计x属于某个类别的概率，则该函数的输出为一个k维的向量来表示k个估计值。
假设函数如下图：

354792223a9d.png

softmax 回归是 logistic 回归的一般形式
Softmax回归（Softmax Regression）又被称作多项逻辑回归（multinomial logistic regression），它是逻辑回归在处理多类别任务上的推广

神经元模型

clipboard.png

可以发现：激活函数为Sigmoid函数的神经元模型等价于逻辑回归

激活函数

作用：能使得神经网络的每层输出结果变得非线性化

• 可微性：计算梯度时必须要有此性质。
• 非线性：保证数据非线性可分。
• 单调性：保证凸函数。
• 输出值与输入值相差不会很大：保证神经网络训练和调参高效。

常见的激活函数

• Sigmoid函数

  
  0df3d7ca7bcb0a4659502a5f6f63f6246b60af62.jpg

• ReLU：为隐含层引入了稀疏性，可以加快模型的收敛速度

  
  clipboard.png

• Softmax

  
  image.png
  

  通常的意义：对向量进行归一化，凸显其中最大的值并抑制远低于最大值的其他分量。

• Tanh激活函数

  
  clipboard.png

• Maxout激活函数
  将数据通过线性变换并且按照维度取最大值的向量

  
  clipboard.png

多层网络

只需包含隐层，即可称为多层网络

clipboard.png

神经网络的学习过程就是根据训练数据来调整神经元之间的“连接权重”以及每个功能神经元的阈值

参考资料

<机器学习>第3章线性模型-周志华
<机器学习>第5章神经网络-周志华
Softmax回归
Machine Learning小结(1)：线性回归、逻辑回归和神经网络