从两点分布到分类问题

作者: zidea | 来源:发表于2019-11-14 06:16 被阅读0次

机器学习基础

两点分布(伯努利分布)

设随机变量 X 服从

X	1	0
P	p	1-p

期望
$E(X) = 1 \cdot p + 0 \cdot q = p$
方差
$D(X) = E(X^2) - [E(X)]^2$
$= 1^2 \cdot p + 0^2 \cdot (1 - p) - p^2 = p(1-p) = pq$

二项分布

可以看做若干个两点分布的取和，设随机变量 X 服从参数为 n,p 二项分布, 假设 $X_i$ 为第 i 次试验中事件 A 发生的次数， $i=1,2,\cdots , n$
$X = \sum_{i=1}^n X_i$
显然， $X_i$ 相互独立均服从参数为 p 的 0-1 分布所以
$E(X) = \sum_{i=1}^n E(X_i) = np$
$D(X) = \sum_{i=1}^n D(X_i)= np(1-p)$
在做分类问题，将样本为样本有

我们假设有样本,有些样本是正例有些样本是负例。取 1 概率 p 取 0 概率为 0
$X = \begin{cases} p & 1 \\ 1 - p & 0 \end{cases}$

$X \{ (x_1,y_1),(x_2,y_2),\cdots,(x_m,y_m) \}$
这里有 m 个样本，其中 $y \in \{0,1\}$ 也就是样本类别为，其实这就是 m 次试样的两点分布。拿出其中一个 $x_i$

$= p^1 \cdot (1-p)^{(1 -0)} \tag{1}$
这是两个分布统一
$= p^{y_i} \cdot (1-p)^{(1 -y_i)} \tag{2}$
如果假设 $x_i$ 样本具有 n 维 $(x_{i1},x_{i2},\dots,x_{in})$

$x^{i}$	$\theta_1$	$\theta_1$	$\cdots$	$\theta_n$
$x^{(1)}$	$x_1^1$	$x_2^1$	$\cdots$	$x_n^1$
$x^{(2)}$	$x_1^2$	$x_2^2$	$\cdots$	$x_n^2$
$x^{(n)}$	$x_1^n$	$x_2^n$	$\cdots$	$x_n^n$

$\vec{\theta} \cdot \vec{x_i}$
然后将上面式子导入 $\frac{1}{1+ e^{-x}}$ 这个公式大家再熟悉不过我们在做逻辑回归时候看到sigmoid 公式。
$p = \frac{1}{1+ e^{-(\vec{\theta} \cdot \vec{x_i})}} \tag{3}$
把这个概率带入上面(2)式里我们就得到关于 $\theta$ 的目标函数，当这个目标函数最大时候哪个 $\theta$ 就是我们要找参数，也就是给定目标函数一种手段。