贝叶斯Bayes

背景

频率派把需要推断的参数θ看作是固定的未知常数，即概率θ虽然是未知的，但是最起码是一个确定的值，同时，样本X是随机的，所以频率派重点研究样本，大部分的概率计算都是针对样本X的分布；

贝叶斯派的观点截然相反，他们认为参数θ是随机变量，而样本X是固定的，由于样本是固定的，所以他们重点研究的是参数θ的分布。

贝叶斯派既然把θ看做是一个随机变量，所以如果要计算θ的分布，需要事先知道θ的无条件分布，即在有样本之前（或观察到X之前），θ又怎样的分布。

所以有如下思考问题的固定模式：

π(θ)        X        =>        π(θ|x)

先验分布+样本信息 => 后验分布

该思考模式意味着，新观察的样本信息将修正人们以前对事物的认知。

---

贝叶斯定理：

条件概率（又称后验概率posterior）：就是事件A在事件B已经发生的条件下发生的概率，P(A|B)

例：在同一个样本空间U中的事件或者子集A,B，如果随机从U中选出一个元素B，那个这个随机选择元素还属于A的概率就定义为在B的前提下A的条件概率，所以：P(A|B) = U*P(A∩B) / U*P(B), 同除以U，得到：P(A|B) = P(A∩B) / P(B)

联合概率：两个事件同时发生的概率，P(A|B) 或者P(A∩B)

边缘概率（又称先验概率prior）：某个事件发生的

概率，P(A), P(B)

---

贝叶斯公式：P(A|B) = P(B|A)*P(A) / P(B)

推导：从条件概率推出：

    P(A|B) = P(A∩B) / P(B)

    P(B|A) = P(A∩B) / P(A)

    联立上式：P(A|B) * P(B) = P(B|A) * P(A)

即    P(A|B) = P(B|A)*P(A) / P(B)

上式P(B)=∑n(i=1) P(Ai) * P(B|Ai)

---

朴素贝叶斯（Naive Bayes）

“朴素”：贝叶斯假设特征之间是独立的，互不影响。

贝叶斯理论应用：

X是特征向量（大小为n），y是类变量：

P(y|X) = P(X|y) P(y) / P(X), X = (x1,x2,x3,...,xn)

假设A,B是独立的，则 P(A,B) = P(A) * P(B)

可转换为如下 因为分母是常数，所以可以移除，得到相关性表示

现在可以建立分类模型，用已知的类变量的所有可能的值计算概率，并选择概率是最大的结果。数学表达式为：

之后就是计算P(y) 和 条件概率P(xi|y)

不同的朴素贝叶斯分类器差异主要在分布的假设。

高斯朴素贝叶斯分类器：每个特征都是连续的，且呈现高斯分布（正态分布）。

多项式朴素贝叶斯分类器：特征向量表示有多项式分布生成的特定的时间的概率（频率）。多用于文本分类。

伯努利朴素贝叶斯分类器：特征是独立的布尔类型（二进制变量）来描述输出。跟多项式模型类似。在文本分类中流行，在这这里用的是二进制项的出现（一个词是否出现在文本中），而不是词频（一个文本中出现某词的次数）

Multinomial Naive Bayes: Feature vectors represent the frequencies with which certain events have been generated by a multinomial distribution. This is the event model typically used for document classification.

Bernoulli Naive Bayes: In the multivariate Bernoulli event model, features are independent booleans (binary variables) describing inputs. Like the multinomial model, this model is popular for document classification tasks, where binary term occurrence(i.e. a word occurs in a document or not) features are used rather than term frequencies(i.e. frequency of a word in the document).