机器学习算法（公式图解：LR&SVM）

Logistic函数

基本公式
x属于正类的概率
正样本概率和负样本概率的比值
每一个观察到的样本(xi, yi)出现的概率
优化代价函数
求导函数

可用牛顿迭代法/梯度下降法求解。
随机梯度下降法：一次仅用一个样本点（的回归误差）来更新回归系数。随着迭代的进行，alpha越来越小，这会缓解系数的高频波动

支持向量机（SVM）

对偶问题：

转换后的形式叫做dual problem

同样的方法：

优化目标
转换后的优化目标
求导替换后
有了新样本x的判别，注意只有少数阿尔法i不为零
若允许个别例外情况存在
在训练目标里添加惩罚项
dual problem

训练SVM和使用SVM都用到了样本间的内积，而且只用到内积。那如果我们可以找到一种方法来计算两个样本映射到高维空间后的内积的值就可以了。核函数就是完成这伟大的使命的：

核函数变换
需要满足的KKT条件
坐标上升（下降）法：只调整一个变量αi的值
SMO算法：每次只选取两个变量进行优化。原因是：
如果只选取一个值做变量，那么它的值被固定了，可以由其他值推算出来。因此必须有两个变量是灵活的