PRML一书中关于贝叶斯曲线拟合结论的推导细节

作者: Mezereon | 来源:发表于2022-08-25 17:48 被阅读0次

PRML一书中关于贝叶斯曲线拟合结论的推导细节
贝叶斯公式通俗理解
朴素贝叶斯
Machine Learning (4)
贝叶斯公式推导
机器学习经典算法 - 朴素贝叶斯
自然语言处理学习复习2（贝叶斯）
补充卡尔曼滤波 - 笔记（二）
贝叶斯条件概率的推导
朴素贝叶斯的公式推导

PRML一书中关于贝叶斯曲线拟合结论的推导细节

预测分布由高斯分布 $\mathcal N(t|m(x),s^2(x))$ 给出
其中均值 $m(x) = \beta\phi(x)^TS\sum_{n=1}^{N}\phi(x_n)t_n$
方差 $s^2(x) = \beta^{-1} + \phi(x)^TS\phi(x)$
其中 $S^{-1} = \alpha I +\beta\sum_{n=1}^{N}\phi(x_n)\phi(x_n)^T$ , $\phi(x)=[1,x,x^2,...,x^M]^T$

这个结论给的非常突然，让人无所适从，我决定花点时间分析一下，并记录下来，以供大家参考！

如上式所述，其可以被写成积分的形式，我们利用一些结论来进行分析

首先对于t的分布应该是一个高斯分布，

$p(t|x,w) = \mathcal N(t|y(x,w), \beta^{-1})$

对于分布 $p(w|X,T)$ , 其正比于先验分布和似然的乘积

$p(w|X,T, \alpha, \beta) \varpropto p(T|X, w, \beta)p(w|\alpha)$

    如果$\alpha, \beta$ 已知， 可以写成：

$p(w|X,T) = \frac{p(T|X,w)p(X,w)}{p(X,T)} = \frac{p(T|X,w)p(w|X)p(X)}{p(T|X)p(X)} = \frac{p(T|X,w)p(w|X)}{p(T|X)}$
所以我们可以继续将积分式子改写：
$p(t|x,X,T) = \int \mathcal N(t|y(x,w), \beta^{-1}) \prod_{n=1}^N\mathcal N(t_n|y(x_n, w), \beta^{-1})\frac{p(w|X)}{p(T|X)}dw$

$y(x,w) = w_0 + w_1x + w_2x^2 + \cdots + w_Mx^M = \phi(x)^T[w_0, w_1, ..., w_M]^T = \phi(x)^Tw\\ \phi(x) = [1,x,x^2,...,x^M]^T$

从而，对于高斯分布 $\mathcal N(t|y(x,w), \beta^{-1})$ , 可以写成:
$\mathcal N(t|y(x,w), \beta^{-1}) = \frac{1}{\sqrt{2\pi\beta^{-1}}}\exp(-\frac{(t-y(x,w))^2}{2\beta^{-1}}) = \frac{1}{\sqrt{2\pi\beta^{-1}}}\exp(-\frac{(t-\phi(x)^Tw)^2}{2\beta^{-1}})$
同样的，我们可以写出N个高斯分布乘积的形式
$\prod_{n=1}^N\mathcal N(t_n|y(x_n, w), \beta^{-1})=(\frac{1}{2\pi\beta^{-1}})^{N/2}\exp(-\frac{\beta}{2}\sum_{n=1}^N(t_n-\phi(x_n)^Tw)^2)$
于是，如下：
$\mathcal N(t|y(x,w), \beta^{-1}) \prod_{n=1}^N\mathcal N(t_n|y(x_n, w), \beta^{-1}) = (\frac{1}{2\pi\beta^{-1}})^{(N+1)/2}\exp(-\frac{\beta}{2}((t-\phi(x)^Tw)^2 + \sum_{n=1}^N(t_n-\phi(x_n)^Tw)^2))$
如果我们将 $p(w|X) = p(w|\alpha) = (\frac{\alpha}{2\pi})^{(M+1)/2}\exp(-\frac{\alpha}{2}w^Tw)$ ，且 $p(T|X)=1$

则有
$p(t|x,X,T) = (\frac{\beta}{2\pi })^{\frac{N+1}{2}} (\frac{\alpha}{2\pi})^{ \frac{M+1}{2}}\int \exp\Big(-\frac{\alpha}{2}w^Tw -\frac{\beta}{2}((t-\phi(x)^Tw)^2 + \sum_{n=1}^N(t_n-\phi(x_n)^Tw)^2) \Big ) dw$

注意到，高斯积分的形式
$\int_{-\inf}^{+\inf} e^{ -a(x+b)^2 } dx = \sqrt{ \frac{ \pi }{ a } }$
故,
$\int \exp\Big(-\frac{\alpha}{2}w^Tw -\frac{\beta}{2}((t-\phi(x)^Tw)^2 + \sum_{n=1}^N(t_n-\phi(x_n)^Tw)^2) \Big ) dw = \int\exp(-k(w+b)^2+u)dw\\ k = \frac{\alpha}{2} + \frac{\beta}{2}(\phi(x)^T\phi(x) + \sum_{n=1}^{N}\phi(x_n)^T\phi(x_n))$
相当于对于一个二次式进行配方，我们简单记作：
$-m_1w^2-m_2(m_3w^2+m_4w+m_5)\\ m_1 = \frac{\alpha}{2}, m_2=\frac{\beta}{2}\\ m_3 = \phi(x)^T\phi(x) + \sum_{n=1}^N\phi(x_n)^T\phi(x_n)\\ m_4 =-2(t\phi(x)^T + \sum_{n=1}^Nt_n\phi(x_n)^T)\\ m_5 = t^2 + \sum_{n=1}^Nt_n^2$
从而，
$-(m_1+m_2m_3)w^2 - m_2m_4w - m_2m_5=-(m_1+m_2m_3)(w^2+\frac{m_2m_4}{m_1+m_2m_3}w + \frac{m_2m_5}{m_1+m_2m_3})\\ =-(m_1+m_2m_3)[(w+\frac{m_2m_4}{2(m_1+m_2m_3)})^2 + \frac{m_2m_5}{m_1+m_2m_3} - \frac{m_2^2m_4^2}{4(m_1+m_2m_3)^2}]\\ =-(m_1+m_2m_3)[(w+\frac{m_2m_4}{2(m_1+m_2m_3)})^2 + \frac{4(m_1+m_2m_3)m_2m_5 -m_2^2m_4^2}{4(m_1+m_2m_3)^2}]\\ =-(m_1+m_2m_3)(w+\frac{m_2m_4}{2(m_1+m_2m_3)})^2 + \frac{4(m_1+m_2m_3)m_2m_5 -m_2^2m_4^2}{4(m_1+m_2m_3)}$
存在一个常数项，即
$\frac{4(m_1+m_2m_3)m_2m_5 -m_2^2m_4^2}{4(m_1+m_2m_3)} = \frac{\beta(\alpha + \beta m_3)m_5 - 4^{-1}\beta^2m_4^2}{2(\alpha + \beta m_3)}$

从而,
$\int \exp\Big(-\frac{\alpha}{2}w^Tw -\frac{\beta}{2}((t-\phi(x)^Tw)^2 + \sum_{n=1}^N(t_n-\phi(x_n)^Tw)^2) \Big ) dw = \sqrt{\frac{\pi}{k}}\exp( \frac{\beta(\alpha + \beta m_3)m_5 - 4^{-1}\beta^2m_4^2}{2(\alpha + \beta m_3)})$
代入到原式得
$p(t|x,X,T)= (\frac{\beta}{2\pi })^{\frac{N+1}{2}} (\frac{\alpha}{2\pi})^{ \frac{M+1}{2}}\sqrt{\frac{\pi}{k}}\exp( \frac{\beta(\alpha + \beta m_3)m_5 - 4^{-1}\beta^2m_4^2}{2(\alpha + \beta m_3)})\\$
对于指数部分的系数：
$(\frac{\beta}{2\pi })^{\frac{N+1}{2}} (\frac{\alpha}{2\pi})^{ \frac{M+1}{2}}\sqrt{\frac{\pi}{k}}=\Big((\frac{\beta^{N+1}\alpha^{M+1}}{(2\pi)^{N+M+2}} (\frac{\alpha}{2}+\frac{\beta}{2}(\phi(x)^T\phi(x) + \sum_{n=1}^{N}\phi(x_n)^T\phi(x_n))))\Big)^{1/2}$
而指数部分为:
$\frac{\beta(\alpha + \beta m_3)m_5 - 4^{-1}\beta^2m_4^2}{2(\alpha + \beta m_3)} = \frac{\beta(\alpha + \beta m_3)(t^2 + t_{sum}) - \frac{1}{4}\beta^2(-2(t\phi(x)^T + \sum_{n=1}^Nt_n\phi(x_n)^T))^2}{2(\alpha +\beta m_3)}\\ =\frac{\beta(\alpha + \beta m_3)(t^2 + t_{sum}) - \beta^2(t\phi(x)^T + q)^2}{2(\alpha +\beta m_3)} =\frac{[\alpha \beta + \beta^2 m_3 - \beta^2\phi(x)^T\phi(x)]\cdot t^2 -2\beta^2 \phi(x)^Tq^T t + (\alpha\beta+\beta^2 m_3)t_{sum}-\beta^2qq^T}{2(\alpha +\beta m_3)} \\ =\frac{[\alpha \beta + \beta^2 v]\cdot t^2 -2\beta^2 \phi(x)^Tq^T t + (\alpha\beta+\beta^2 m_3)t_{sum}-\beta^2qq^T}{2(\alpha +\beta m_3)}\\ =(\alpha \beta + \beta^2 v)\frac{t^2 -2\frac{\beta^2 \phi(x)^Tq^T}{\alpha \beta + \beta^2 v} t + \frac{(\alpha\beta+\beta^2 m_3)t_{sum}-\beta^2qq^T}{\alpha \beta + \beta^2 v}}{2(\alpha +\beta m_3)} =(\alpha \beta + \beta^2 v)\frac{ (t -\frac{\beta^2 \phi(x)^Tq^T}{\alpha \beta + \beta^2 v})^2 -\frac{(\beta^2 \phi(x)^Tq^T)^2}{(\alpha \beta + \beta^2 v)^2} + \frac{(\alpha\beta+\beta^2 m_3)t_{sum}-\beta^2qq^T}{\alpha \beta + \beta^2 v}}{2(\alpha +\beta m_3)} \\ t_{sum} = \sum_{n=1}^Nt_n^2\\ q = \sum_{n=1}^Nt_n\phi(x_n)^T\\ v = \sum_{n=1}^N\phi(x_n)^T\phi(x_n)$
故，我们可以从上式中，直接推出均值
$m(x)=\frac{\beta^2 \phi(x)^Tq^T}{\alpha \beta + \beta^2 v} = \frac{\beta \phi(x)^Tq^T}{\alpha + \beta v} = (\alpha+\beta \sum_{n=1}^N\phi(x_n)^T\phi(x_n))^{-1}(\beta\phi(x)^T\sum_{n=1}^{N}\phi(x_n)t_n) = \beta \phi(x)^TS\sum_{n=1}^{N}\phi(x_n)t_n\\ S^{-1} = \alpha+\beta \sum_{n=1}^N\phi(x_n)^T\phi(x_n)$
倘若上述配方成功，方差为
$s^2(x)=\frac{\alpha + \beta m_3}{\alpha \beta + \beta^2 v} = \frac{\alpha+\beta(\phi(x)^T\phi(x) + \sum_{n=1}^N\phi(x_n)^T\phi(x_n))}{\alpha\beta + \beta^2\sum_{n=1}^N\phi(x_n)^T\phi(x_n) } =\frac{\alpha+\beta\sum_{n=1}^N\phi(x_n)^T\phi(x_n) + \beta \phi(x)^T\phi(x)}{\alpha\beta + \beta^2\sum_{n=1}^N\phi(x_n)^T\phi(x_n) }\\ =\frac{1}{\beta} + \frac{\phi(x)^T\phi(x)}{\alpha + \beta \sum_{n=1}^N\phi(x_n)^T\phi(x_n) }\\ = \beta^{-1} + S\phi(x)^T\phi(x)$

PRML一书中关于贝叶斯曲线拟合结论的推导细节
PRML一书中关于贝叶斯曲线拟合结论的推导细节我们令训练数据集为, 对于一个新的点 , 我们希望给出一个预测分布...
贝叶斯公式通俗理解
贝叶斯公式推导贝叶斯公式：推导之前，我们需要先了解一下条件概率：已知数据如下： P(A) 表是人为光头的概率...
朴素贝叶斯
序本次记录朴素贝叶斯的相关原理，并上一张手写的面试级推导过程朴素贝叶斯模型是什么？朴素贝叶斯是基于贝叶斯定理...
Machine Learning (4)
贝叶斯公式推导，朴素贝叶斯公式学习先验概率学习后验概率 LR 和 Linear Regression 之间的区...
贝叶斯公式推导
Requirements 关于边缘概率，联合概率与条件概率的详细介绍，参考这位大佬的博客。边缘概率：事件A与B相...
机器学习经典算法 - 朴素贝叶斯
朴素贝叶斯 Naive Bayes 朴素贝叶斯分类建立在贝叶斯原理的基础上，关于贝叶斯原理这一部分可以参考链接...
自然语言处理学习复习2（贝叶斯）
贝叶斯公式贝叶斯公式就一行：而它其实是由以下的联合概率公式推导出来：其中 P(Y) 叫做先验概率， P(Y|...
补充卡尔曼滤波 - 笔记（二）
继卡尔曼滤波 - 笔记（一）的补充。最小二乘与贝叶斯上一篇的最后，介绍了通过最小二乘和贝叶斯都可以推导卡尔曼滤...
贝叶斯条件概率的推导
1. 条件概率事物A独立发生的概率为P(A)，事物B独立发生的概率为P(B)，那么有：表示事物B发生之后事物A...
朴素贝叶斯的公式推导
朴素贝叶斯分类是一种十分简单的分类算法，叫它朴素贝叶斯分类是因为这种方法的思想真的很Naive。它有一个基本的假...