碎碎念：这节二元分布折腾了我好一整子，因为直接看英文，后面再看中文翻译，折腾得够呛的，不过现在看到英文虽然还是很怕，但下意识不是跳过了，而是会硬着头皮读下去，至于读不读得懂又是另一回事啦！虽然还有一大部分内容还有四五十页，不过，嘿嘿，我打算着手中文了，要不我真的快被榨干了(┬＿┬)

repost : the link between Bayes'theorem and maxmizing likelihood function

repost : the introduction about the Bernoulli distribution & Binary Variables & Multinomial Variable & beta distribution & Dirichlet Distribution

Bayesian threorems(贝叶斯定理)：

2.1.1

在机器学习的应用中，它属于后验概率（posterior distribution）, 表示事情已经发生的结果下，它属于哪类。

其中，

Prior probability (先验概率)：

Class-conditional-probability (类条件概率)：

Posterior probability(后验概率)：

因为分子为正数，对后面的估计没有影响，即后验概率与（先验概率x类条件概率）成正比关系，即共轭性（conjugacy）。

但是，实际问题中我们获取的数据可能只是有限数目的样本数据，而先验概率和类条件概率都是未知的，如果仅仅根据样本数据分类时，我们必须先对先验概率和类条件概率进行估计，再套用贝叶斯公式，先验概率比较简单，而类条件概率比较难，信息是随机的，样本数据不多，这样我们就要将其转换为估计参数，其中最大似然估计就是一种较好的估计方法。

---

the beta distribution(贝塔分布) ——  the prior probability

其中gramma function是为了保证beta distribution的归一化（normalized），其定义如下：

百度百科 百度百科

（3）保证beta distribution 归一化(normalizedS)：

Why introduce the beta distribution :

为了找到一种先验概率与后验概率（即贝叶斯公式）有着相同的公式形式，从而符合共轭性，如果找到这样的函数，则这样的函数会有很多有用的性质，所以，我们找到了 beta distribution,与后验函数有着相同的函数形式，如下：

the mean(均值) and variance（方差）of the beta distribution are given by:

其中，a and b are often called hyperparameters(超参数)，控制参数：

来源《PRML》Figure 2.2

---

Maximum likelihood estimation —— the posterior dristribution

why introduce the MLE:

由Bayesian threothm的思路，类条件概率比较难，信息是随机的，样本数据不多，这样我们就要将其转换为估计参数，其中最大似然估计就是一种较好的估计方法。

最大似然估计目的是：利用已知的样本结果，反推最有可能导致这样结果的参数值。

最大似然估计原理是：给定一个概率分布D,假定其概念密度函数（连续分布）或者概率聚集函数（离散分布）为fD，以及一个分布参数θ，我们可以从这个分布中抽出一个具有n个值的采样X1,X2,…,Xn，通过利用fD，我们就能计算出其概率： 

最大似然估计会寻找关于θ的最可能的值（即，在所有可能的θ取值中，寻找一个值使这个采样的“可能性”最大化）。

要在数学上实现最大似然估计法，我们首先要定义可能性：并且在θ的所有取值上，使这个函数最大化。这个使可能性最大的值即被称为θ的最大似然估计。

计算 maximum likelihood estimation 的步骤如下：

（1）写出似然函数：

（2）取对数：

对求导数（derivative）并令其为0：

此方程为对数似然方程。解对数似然方程所得，即为未知参数 的最大似然估计值。同时，为样本均值（sample mean）。

注：the difference between the maximum likelihood function and binomial distribution :

二项分布的似然函数为（就是二项分布除归一化参数之外的后面那部分，似然函数之所以不是pdf，是因为它不需要归一化）。

Bernoulli distribution（伯努利分布）:

2.1.2