逻辑回归模型的代价函数

作者: 爱吃鱼的夏侯莲子 | 来源:发表于2020-01-22 16:43 被阅读0次

逻辑回归（二）
逻辑回归模型的代价函数
ml-代价函数
吴恩达深度学习笔记（7）--逻辑回归的代价函数（Cost Fun
[Week 3] Machine-learning Notes
3.2Logistic回归模型
吴恩达机器学习笔记-Logistic回归模型
哲哲的ML笔记（十二：逻辑回归中的代价函数）
线性模型用于二分类的理论
理解逻辑回归

假设有训练集有m个样本
$(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),(x^{(3)},y^{(3)}),...,(x^{(m)},y^{(m)})$
有n个特征值
$x \in \left[ \begin{matrix} x_0 \\\ x_1 \\\ x_2 \\\ ... \\\ x_n \end{matrix} \right], x_0=1,y \in [0, 1]$
预测函数
$h_\theta(x) = \frac{1}{1+e^{-\theta^Tx}}$

与线性回归类似，先要获得逻辑回归的代价函数：
$J(\theta)=\frac{1}{m} \sum_1^m Cost(h_\theta(x^{(i)}), y^{(i)})$

这个和线性回归的代价函数类似，只是替换了：
$Cost(h_\theta(x), y) = \frac{1}{2} (h_\theta(x^{(i)})-y^{(i)})^2$

上面的是线性回归的 $Cost$ 函数的值，在逻辑回归模型中，该函数为：
$Cost(h_\theta(x), y) = \begin{cases} -\log(h_\theta(x)), y=1 \\\ -\log(1-h_\theta(x)), y=0 \end{cases}$

在这样的情况下

当 $y=1, h_\theta(x)=1$ 时，可以得到 $Cost(h_\theta(x), y)=0$ ；
当 $y=1, h_\theta(x)=0$ 时，可以得到 $Cost(h_\theta(x), y)→\infty$ ；
当 $y=0, h_\theta(x)=0$ 时，可以得到 $Cost(h_\theta(x), y)=0$ ；
当 $y=0, h_\theta(x)=1$ 时，可以得到 $Cost(h_\theta(x), y)→\infty$ ；

这样总结一下就是当 $y=h_\theta(x)$ ,代价函数的值为0，当两者不等时，单价函数的值为去穷大，这符合代价函数的定义。

两种情况下的 $Cost$ 函数可以合并为一个：
$Cost(h_\theta(x), y) = -y \log(h_\theta(x)) - (1-y) \log(1-h_\theta(x))$

这样 $\color{red}{逻辑回归的代价函数}$ ：

$J(\theta)=-\frac{1}{m} \sum_1^m [y^{(i)} \log(h_\theta(x^{(i)})) + (1-y^{(i)}) \log(1-h_\theta(x^{(i)}))]$

用向量的形式来表示则是：

$h = g(X\theta)$
$J(\theta)=\frac{1}{m} \cdot (-y^T \log(h) -(1-y)^T \log(1-h))$

转载自：
https://codeeper.com/2020/01/11/tech/machine_learning/classification_cost_function.html

逻辑回归（二）
代价函数（Cost Function）对于线性回归模型，我们定义的代价函数J(θ)为：现在对于逻辑回归模型我们...
逻辑回归模型的代价函数
假设有训练集有m个样本有n个特征值预测函数与线性回归类似，先要获得逻辑回归的代价函数：这个和线性回归的代价函数...
ml-代价函数
目标：拟合逻辑回归模型的参数通过定义用来拟合参数的优化目标，即：代价函数但是将代入得到的代价函数是一个非凸函数(...
吴恩达深度学习笔记（7）--逻辑回归的代价函数（Cost Fun
在上一篇文章中，我们讲了逻辑回归模型，这里，我们讲逻辑回归的代价函数（也翻译作成本函数）。吴恩达让我转达大家：这...
[Week 3] Machine-learning Notes
Cost Function 引入了逻辑回归模型的代价函数，分为y = 0 或者1 两种情况。这里再次指明了代价函...
3.2Logistic回归模型
逻辑回归的代价函数上图是之前线性回归问题时的代价函数，现将上图公式进行改写：在线性回归问题中，代价函数会被定义...
吴恩达机器学习笔记-Logistic回归模型
回归函数在逻辑回归模型中我们不能再像之前的线性回归一样使用相同的代价函数，否则会使得输出的结果图像呈现波浪状，也...
哲哲的ML笔记（十二：逻辑回归中的代价函数）
代价函数要定义用来拟合参数的优化目标或者叫代价函数对于线性回归模型，我们定义的代价函数是所有模型误差的平方和。...
线性模型用于二分类的理论
蓦然回首，线性模型蓦然回首，代价函数代价函数可视化上限理论实践：回归用于分类回归用于分类
理解逻辑回归
一、代价函数二、求解逻辑回归参数三、向量化