逻辑斯谛回归Logistic Regression和神经网络的联

作者: 逃课的人工智能 | 来源:发表于2020-07-07 22:41 被阅读0次

面经机器学习
统计学习方法笔记之逻辑斯谛模型与最大熵模型
逻辑斯谛回归Logistic Regression和神经网络的联
逻辑斯谛回归与最大熵模型
逻辑(斯谛)回归（Logistic Regression）
逻辑回归(Logistic Regression)
逻辑斯蒂回归在二分类中的应用
统计学习方法读书笔记——第六章逻辑斯谛回归与最大熵模型
第六章逻辑斯谛回归与最大熵模型
Logistic Regression逻辑斯蒂回归

我感觉用logistic回归的思想来解释神经网络比较切合。以二分类为例：
X表示样本 ${x_1,x_2,....}$ ；C表示类别 ${c_1=1,c_2=-1}$ ， $P$ 表示概率。

已知如下：

当 $P(C_1|x_1)/P(C_2|X_1)>1$ 时 $X_1$ 属于 $C_1$ 类，
当 $P(C_1|x_1)/P(C_2|X_1)<1$ 时 $X_1$ 属于 $C_2$ 类.

由于是二分类问题，可以将上式继续简化

$P(C_1|x_1)/(1-P(C_1|x_1))>1$ 时 $X_1$ 属于 $C_1$ 类，

$P(C_1|x_1)/(1-P(C_1|x_1))<1$ 时 $X_1$ 属于 $C_2$ 类，

上述公式是分类问题的描述，但是这个公式还有一个问题需要处理，由函数 $x/(1-x)$ 图像可知，在0和1附近的值太小和太大将函数图像的波动掩盖了，所以需要加上对数， $ln{P(C_1|x_1)/(1-P(C_1|x_1))}$ 。

下面引入logitic regression(LR)和神经网络。

LR(欢迎讨论，根据自己理解定义的)

经过上述的讨论我们知道了要拟合的目标即: $ln{P(C_1|x_1)/(1-P(C_1|x_1))}$ ，使用 $\overrightarrow w \overrightarrow x+\overrightarrow b$ 来拟合的话就是LR模型，推导如下：

$ln{P(C_1|x_1)/(1-P(C_1|x_1))}=\overrightarrow w \overrightarrow x+\overrightarrow b$

$e^{ln{P(C_1|x_1)/(1-P(C_1|x_1))}}=e^{\overrightarrow w \overrightarrow x+\overrightarrow b}$

$P(C_1|x_1)/(1-P(C_1|x_1))=e^{\overrightarrow w \overrightarrow x+\overrightarrow b}$

$1/(\frac {1}{P(C_1|x_1)}-1)=e^{\overrightarrow w \overrightarrow x+\overrightarrow b}$

$P(C_1|x_1)=\frac {e^{\overrightarrow w \overrightarrow x+\overrightarrow b}}{1+e^{\overrightarrow w \overrightarrow x+\overrightarrow b}}$

由二分类可知，

$P(C_2|x_1)=\frac {1}{1+e^{\overrightarrow w \overrightarrow x+\overrightarrow b}}$

$P(C_2|x_1)+P(C_1|x_1)= 1$
以上也可与推广到多分类。

神经网络

神经网络也是在拟合 $ln{P(C_1|x_1)/(1-P(C_1|x_1))}$ ，只不过神经网络表示的函数 ${(\overrightarrow w \overrightarrow x+\overrightarrow b)}^{*}$ 要复杂的多，加个星号表示的是广义的。

面经机器学习
1.逻辑回归（logistic Regression,LR),也称为"对数几率回归"，又称为"逻辑斯谛"回归 !虽...
统计学习方法笔记之逻辑斯谛模型与最大熵模型
更多文章可以访问我的博客Aengus | Blog 逻辑斯谛回归（Logistic Regression）模型是经...
逻辑斯谛回归Logistic Regression和神经网络的联
我感觉用logistic回归的思想来解释神经网络比较切合。以二分类为例：X表示样本；C表示类别，表示概率。已知如...
逻辑斯谛回归与最大熵模型
逻辑斯谛回归与最大熵模型逻辑斯谛回归模型最大熵模型最大熵模型的学习逻辑斯谛回归（logistic regr...
逻辑(斯谛)回归（Logistic Regression）
GitHub简书CSDN 在我们学习机器学习的过程中，我们所需解决的问题，大致可以分为两部分：分类和回归.其中,分...
逻辑回归(Logistic Regression)
1 逻辑回归（Logistic Regression）逻辑回归（Logistic Regression，简称LR...
逻辑斯蒂回归在二分类中的应用
逻辑回归简介逻辑斯蒂回归（logistic regression，又称“对数几率回归”）是经典的分类方法。逻辑斯...
统计学习方法读书笔记——第六章逻辑斯谛回归与最大熵模型
逻辑斯谛回归(logistic regression)是统计学习中经典的分类方法。最大熵是概率模型学习的一个准则，...
第六章逻辑斯谛回归与最大熵模型
6.1 逻辑斯谛回归模型 6.1.1 逻辑斯谛分布(logistic distribution) 设X是连续随机变...
Logistic Regression逻辑斯蒂回归
Welcome To My Blog title: Logistic Regression逻辑斯蒂回归date: ...