• Generative classifier，这里的生成，意味着数据的生成，给定一个类别，什么样的数据满足这个类别：

• 例子：

image.png

概念学习（concept learning）的一个例子：给定的概念是,比如，“2的平方”，“3的平方”等；数据是,比如1到100内的整数。
问：从中抽取的数据 ，问给定一个新的数据 是否属于，即，这是一个 只从正样本中学习的分类器。

如直方图，给定 和 等情况下，猜测概念其他的数字是哪些，其中，所有概念的集合称为 假设空间（hypothesis space）； 的子集并且符合的称为版本空间（version space）。

说明这个例子是要引出一下概念：

• Occam’s razor：给定 ，猜是什么，：2的平方， ：偶数。
  对概念的拓展采样：即满足的和的全部实例都用来采样：
  • 当只看见 的情况下：
    ；
  • 当看见 的情况下：
    ; 。可以看到的似然比接近5000：1，这样看来概念更接近给定的数据,尽管也满足。

这说明模型倾向于选择 与数据相符的最简单(最小)假设，这就是奥卡姆剃刀原理。
注：在这个例子中，采样是独立的，每一个中的样本采样概率都是

• Likelihood：给定预测的概念，预测数据是什么。 .

• Prior：, 具有主观因素。

• Posterior：posterior is simply the likelihood times the prior, normalized：
  

上个例子的一个图例，还是看到的，说明先验和似然影响着后验结果。

image.png
图中y轴是每一个具体的概念 image.png image.png

• Posterior predictive distribution：Wikipedia的解释很清楚，在这里是：
  
  这里的表示。

todo..