机器学习--逻辑回归原理

补充 : 梯度下降
梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。

• 引入：当我们得到了一个目标函数后，如何进行求解？直接求解？（并不一定可解，线性回归可以当做是一个特例）
• 常规套路：机器学习的套路就是我交给机器一堆数据，然后告诉它
  什么样的学习方式是对的（目标函数），然后让它朝着这个方向去做

• 如何优化：一口吃不成个胖子，我们要静悄悄的一步步的完成迭代
  （每次优化一点点，累积起来就是个大成绩了）

  
  
• 梯度下降三种方法

1. 批量梯度下降法（Batch Gradient Descent）
   　　　　批量梯度下降法，是梯度下降法最常用的形式，具体做法也就是在更新参数时使用所有的样本来进行更新
2. 随机梯度下降法（Stochastic Gradient Descent）
   　　　　随机梯度下降法，其实和批量梯度下降法原理类似，区别在与求梯度时没有用所有的m个样本的数据，而是仅仅选取一个样本j来求梯度。

3. 小批量梯度下降法（Mini-batch Gradient Descent）
   　　小批量梯度下降法是批量梯度下降法和随机梯度下降法的折衷，也就是对于m个样本，我们采用x个样子来迭代，1<x<m。一般可以取x=10，当然根据样本的数据，可以调整这个x的值。

   
   
   

• 缺点
  1. 靠近极小值时收敛速度减慢。
  2. 直线搜索时可能会产生一些问题。
  3. 可能会“之字形”地下降。

Logistic regression

• 目的：分类还是回归？经典的二分类算法！

• 机器学习算法选择：先逻辑回归再用复杂的，能简单还是用简单的

• 逻辑回归的决策边界：可以是非线性的

• 核心函数sigmoid

  
  sigmoid函数
  

• 如何求解逻辑回归(极大似然法求解逻辑回归)

  
  
  求导过程

• 更新权重

  
  

逻辑回归总结

5. 总结

• 逻辑回归最大的优势在于它的输出结果不仅可以用于分类，还可以表征某个样本属于某类别的概率。
• 逻辑斯谛函数将原本输出结果从范围（−∞，+∞）（−∞，+∞） 映射到(0,1)，从而完成概率的估测。
• 逻辑回归得判定的阈值能够映射为平面的一条判定边界，随着特征的复杂化，判定边界可能是多种多样的样貌，但是它能够较好地把两类样本点分隔开，解决分类问题。
• 求解逻辑回归参数的传统方法是梯度下降，构造为凸函数的代价函数后，每次沿着偏导方向(下降速度最快方向)迈进一小部分，直至N次迭代后到达最低点。