机器学习基石下--logistic regression

Gradient of logistic regression error

下一步，求Ein(w)的最小值。可以证明Ein(w)是连续、可微、二次可微的，且二次微分矩阵为正定矩阵。因此Ein(w)是个凸函数（convex）。

image.png

Ein(w)的梯度：

image.png
想要Ein(w)的梯度等于0，有两种情况
image.png

一种是所有的θ项都为0，这种情况只有在数据集是线性可分时才会出现。
另一种是加权和等于0，这是一个w的非线性方程，没有解析解，或称封闭解(close-form solution)。只能通过迭代法求解

image.png
迭代法求最优解
沿着某个方向迈出最大一步
image.png
做泰勒展开，将问题转化为线性问题：
image.png
给定步长条件下，求最优解的一种贪婪算法
image.png
image.png

v的方向已经确定，下一步，如何确定步长η

image.png
步长η与梯度项成正比，进一步简化
image.png
因此，logistic regression的演算法可总结为：
image.png