隐含概率模型

作者: zidea | 来源:发表于2019-12-12 20:42 被阅读0次

隐含概率模型
隐含概率模型（2）
CRF条件随机场
08 主题模型 - LDA
DataWhale-02-朴素贝叶斯
从最大似然到EM算法浅解
【机器学习】（七）马尔可夫链、马尔可夫随机场、条件随机场
HMM及CRF
HMM模型和Viterbi算法
N-gram模型和神经语言模型

今天我们来学习 EM 我么看到变化背后隐含变量。

task.jpg

鸣人(B)和佐助(C)完成任务，具体是由谁完成任务是卡卡西(A)进行分别的，将任务分配给鸣人的概率为(pi)如果卡卡西(A)指派鸣人(B)来完成任务,他完成任务概率为 p ，如果是佐助(B)完成任务概率为 q。那么我们看到结果受到隐含变量 A 的影响。

$\begin{aligned} P(Y|\theta) = \prod_i^N P(y^{(i)}|\theta) \\ = \prod_i^N \pi p^{y^{(i)}}(1-p)^{1-y^{(i)}} + (1 - \pi) q^{y^{(i)}}(1-q)^{1-y^{(i)}} \\ = \sum_{i=1}^N \log P(y^{(i)}|\theta) \end{aligned}$

上面公式应该不难理解，假设概率是独立的，可以通过假设 B 的概率为 $\pi$ 那么对于 $y^{(i)}$ ，如果 $y^{(i)}$ 等于 1 那么概率就是 B 完成任务概率就是 q 如果 $y^{(i)}$ 等于 0 概率也就是 1 - q。

我们需要求出 $\pi,p,q$ 概率，完成任务用 1 表示而 0 表示失败。如果我们假设知道每一次任务是由 B 和 C 谁来完成任务的话，问题就简单了。如下表

| B | B | B |C | C | C | B | C | B |
|---|---|---|---|---|---|---|---|---|---|
| 1 | 1 | 0 | 1 | 0 | 1 | 1 | 0 | 0 | 1 |

有了上面已知条件，这件事给定参数 $\pi,p,q$ 参数

$\begin{cases} p = \frac{count(1)}{naruto} \\ q = \frac{count(1)}{sasuke} \end{cases}$
上面分别是，也就是找到任务中多少个是鸣人(naruto)来完成，1 表示鸣人成功完成任务的个数，也就是 p
$\pi = \frac{naruto}{naruto + sasuke} = \frac{naruto}{N}$

下面是 pi 的估计 N 表示任务数量，其中由鸣人(naruto)完成任务数占总任务数的比就是 pi。

所以我们需要对每一次结果来推测这个任务是 B 还是 C 完成，我们可以近似估计.

| B | B | B |C | C | C | B | C | B |
|---|---|---|---|---|---|---|---|---|---|
| 1 | 1 | 0 | 1 | 0 | 1 | 1 | 0 | 0 | 1 |
| 0.5 | 0.3 | 0.2 | 0.3 | 0.2 | 0.3 | 0.3 | 0.2 | 0.2 | 0.3 |

最后一行使我们在不知道每一次任务具体事由随来做的时候，对该次任务是由鸣人完成的概率推测。

$\mu_j = \frac{\pi p^{y^{(i)}}(1-p)^{1-y^{(i)}} }{ \pi p^{y^{(i)}}(1-p)^{1-y^{(i)}} + (1 - \pi) q^{y^{(i)}}(1-q)^{1-y^{(i)}}}$