最简单的回归是线性回归，线性回归是求均值，所以所有点的敏感度都一样，因此，容易被比较远的点引导走偏。所以，线性回归鲁棒性较差，采用逻辑回归。
逻辑回归的优点：靠近分界线时比较敏感，离得远时敏感度较差，所以不容易走偏。
边界的形式如下表示
构造预测函数为
表示他们为1的概率
看这个公式，当θTx 为0时，hθ(x)为1/2，也就是边界的点，当靠近边界的时候，敏感度变大。
下面为怎么通过概率影响敏感度
对于输入x分类结果为类别1和类别0的概率分别为
也就是
取似然函数为：
对数似然函数为：
最大似然估计就是求使
取最大值时的θ，其实这里可以使用梯度上升法求解，求得的θ就是要求的最佳参数。但是，在Andrew Ng的课程中将
取为下式，即：
因为乘了一个负的系数-1/m，所以取
最小值时的θ为要求的最佳参数。
梯度下降法求的最小值
θ更新过程：
θ更新过程可以写成：
**
**
网友评论