Generative models for discrete d

作者: 世界上的一道风 | 来源:发表于2019-03-29 18:29 被阅读0次

Generative classifier，这里的生成，意味着数据的生成，给定一个类别 $y=c$ ，什么样的数据 $x$ 满足这个类别：

$p(y=c \mid x,\theta) \propto p(x \mid y=c,\theta) p(y=c \mid \theta)$

例子：

image.png

概念学习（concept learning）的一个例子：给定的概念是 $C$ ,比如，“2的平方”，“3的平方”等；数据是 $D$ ,比如1到100内的整数。
问：从 $C$ 中抽取的数据 $x_i \in D$ ，问给定一个新的数据 $\hat x$ 是否属于 $C$ ，即，这是一个 只从正样本中学习的分类器。

如直方图，给定 $D={16}$ 和 $D={60}$ 等情况下，猜测概念 $C$ 其他的数字是哪些，其中，所有概念 $C$ 的集合称为假设空间 $\mathcal H$ （hypothesis space）； $\mathcal H$ 的子集并且符合 $D$ 的称为版本空间（version space）。

说明这个例子是要引出一下概念：

Occam’s razor：给定，猜是什么，：2的平方，：偶数。
对概念的拓展采样：即满足的和的全部实例都用来采样：
- 当只看见 $D=16$ 的情况下：
  $p(c_1 \mid D)= 1/6$ ； $p(c_c \mid D)= 1/50$
- 当看见 $D = \{16, 8, 2, 64\}$ 的情况下：
  $p(c_1 \mid D)= 7.7 × 10^{−4}$ ; $p(c_c \mid D)=1.6 × 10^{−7}$ 。可以看到 $c_1$ 的似然比接近5000：1，这样看来概念 $c_1$ 更接近给定的数据 $D$ ,尽管 $c_2$ 也满足 $D$ 。

这说明模型倾向于选择 与数据相符的最简单(最小)假设，这就是奥卡姆剃刀原理。
注：在这个例子中，采样是独立的，每一个 $c$ 中的样本采样概率都是 $p(D \mid c=i)= \frac{1}{|c_i|}$

Likelihood：给定预测的概念 $C$ ，预测数据 $D$ 是什么。 $p(D\mid C)$ .
Prior： $P(C)$ , $C$ 具有主观因素。
Posterior：posterior is simply the likelihood times the prior, normalized：
$p( c \mid D) = \frac{p(D\mid c)p(c)}{ \sum_{c_i \in C}p(D \mid c_i)}$