逻辑回归

1.概念：逻辑回归假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。

2.逻辑回归的基本假设
假设一：假设数据服从伯努利分布
模型可描述为：

假设二：假设样本为正的概率是：

逻辑回归的最终形式：

3.逻辑回归的损失函数
逻辑回归的损失函数是它的极大似然函数：

4.逻辑回归的求解方法
由于极大似然哈桑无法直接求解，一边拿通过梯度下降来不断逼近最优解
（1）批量梯度下降
优点：获得全局最优解
缺点：更新每个参数都需要遍历所有的数据，计算量会很大，并且会有很多的冗余计算，导致的结果是当数据量大的时候，每个参数的更新都会很慢。
（2）随机梯度下降
优点：使得sgd会跳到新的和现在更好的局部最优解
缺点：使得收敛到局部最优解的过程更加的复杂
（3）小批量梯度下降（minbatch)
优点：结合了sgd和batch gd的优点，每次更新的时候使用n个样本，减少了参数更新的次数，可以达到更加稳定收敛效果，一般在深度学习中采用这种方法，在保证得到最优解的情况下更新速度也较快

5.逻辑回归的目的
将数据二分类，提高准确率

6.逻辑回归如何分类（Sigmod函数）
逻辑回归作为一个回归（也就是y值是连续的），如何应用到分类上去呢。y值确实是一个连续的变量。逻辑回归的做法是划定一个阈值，y值大于这个阈值的是一类，y值小于这个阈值的是另外一类。与之具体如何调整根据实际情况选择，一般会选0.5