机器学习day7-逻辑回归问题

作者: rivrui | 来源:发表于2020-06-15 19:07 被阅读0次

机器学习day7-逻辑回归问题
1 导学
机器学习之Logistic回归(逻辑蒂斯回归）
7 逻辑回归
机器学习笔记E3--logistic回归
逻辑回归
机器学习 Day 4 | Logistic Regression
线性回归和逻辑回归
逻辑回归
机器学习算法的优缺点

逻辑回归

逻辑回归，是最常见最基础的模型。

逻辑回归与线性回归

逻辑回归处理的是分类问题，线性回归处理回归问题。两者都是采用极大似然估计对训练样本建模，线性回归使用最小二乘法，逻辑回归则是似然函数。
$L(\theta)=\prod_{i=1}^NP(y_i|x_i;\theta)=\prod_{i=1}^N(\pi(x_i))^{y_i}(1-\pi(xi))^{1-y_i}$

逻辑回归处理的多分类问题

多项逻辑回归，Softmax Regression。
$h\theta(x)=\begin{bmatrix} p(y=1|x;\theta) \\ p(y=2|x;\theta)\\ \cdots \\ p(y=k|x;\theta) \end{bmatrix}=\frac{1}{\sum_{j=1}^ke^{\theta_j^Tx}}\begin{bmatrix} e^{\theta_1^Tx} \\ e^{\theta_2^Tx}\\ \vdots \\e^{\theta_k^Tx} \end{bmatrix}$

其中， $\theta_{1},\theta_{2}\cdots ,\theta_{k} \in\R^n$ 为模型的参数，而 $\frac{1}{\sum_{j=1}^ke^{\theta_j^Tx}}$ 可以看成对概率的归一化。
一般来说，多项逻辑回归具有参数冗余的特点，给 $\theta_{1},\theta_{2}\cdots ,\theta_{k}$ 同时加上减去一个向量，预测结果不变。
当类别为2分类。
$h_\theta(x)=\frac{1}{e^{\theta_1^Tx}+e^{\theta_2^Tx}}\begin{bmatrix} e^{\theta_1^Tx}\\e^{\theta_2^Tx} \end{bmatrix}$
因此，可以同时减去一个参数，比如说，减去 $\theta_1$ 。
$h_\theta(x)=\frac{1}{e^{0.x}+e^{(\theta_2^T-\theta_1^T)x}}\begin{bmatrix} e^{0.x}\\e^{(\theta_2^T-\theta_1^T)x} \end{bmatrix}=\begin{bmatrix} \frac{1}{1+e^{\theta^Tx}}\\ 1-\frac{1}{1+e^{\theta^Tx}} \end{bmatrix}$
其中 $\theta=\theta_2-\theta_1$ 。。。，多分类问题同理，只是在二分类上面进行了扩展。
例如：当样本存在多个标签，比如5个分类，那么我们可以训练5个分类器，第i个分类器表示结果是不是属于第i类。因此我们的标签设置的是第i类和非第i类。

机器学习day7-逻辑回归问题
逻辑回归逻辑回归，是最常见最基础的模型。逻辑回归与线性回归逻辑回归处理的是分类问题，线性回归处理回归问题。两...
1 导学
机器学习可解决的问题图像识别人脸识别数字识别 MNIST数据集机器学习算法 kNN线性回归多项式回归逻辑回归 ...
机器学习之Logistic回归(逻辑蒂斯回归）
机器学习之Logistic回归(逻辑蒂斯回归）
7 逻辑回归
本章讲解一个在机器学习领域里，用到的最多的一个算法，逻辑回归 1 逻辑回归逻辑回归是一个分类算法回归问题怎么解...
机器学习笔记E3--logistic回归
分类问题 E2说完线性回归问题，我们再来看机器学习中唯二简单的逻辑回归(Logistic Regression)...
逻辑回归
逻辑回归是一种解决分类问题的机器学习算法。逻辑回归可以视为回归算法也可以视为分类算法，但通常用于分类，#####...
机器学习 Day 4 | Logistic Regression
机器学习第四天逻辑回归什么是逻辑回归？逻辑回归被用来处理不同的分类问题，这里的目的是预测当前被观察的对象属于...
线性回归和逻辑回归
线性回归和逻辑回归是机器学习中基础又比较常用的内容。线性回归主要用来解决连续值预测的问题，而逻辑回归用来解决分类的...
逻辑回归
点击链接：逻辑回归 NG机器学习公开课笔记：机器学习笔记
机器学习算法的优缺点
机器学习算法的优缺点机器学习算法的优缺点线性回归 Linear Regression 逻辑回归 Logisti...