美文网首页
概念速查：Jeffrey's Prior

概念速查：Jeffrey's Prior

作者: 陆仔的自在生活 | 来源:发表于2021-10-14 18:37 被阅读0次

当构建 prior distribution 时，若没有足够的群体信息支持，我们通常希望构建的 prior 在我们的 posterior 中影响越小越好，即，posterior 将更多受到样本 likelihood的影响。此种 prior 我们可以称作为 noninformative prior。

Jeffrey's prior 是一种由 Jeffrey 提出的，构建 noninformative prior 的方法。它的定义是：
p(\theta) \propto [J(\theta)]^{1/2}
其中，J(\theta) 是 Fisher information。J(\theta) 的计算公式为：
J(\theta) = E\left( \left(\frac{d \log p(y|\theta)}{d \theta} \right)^{2} \bigg| \theta \right) = - E\left(\frac{d^2 \log p(y|\theta)}{d \theta^2} \bigg| \theta \right)

Jeffrey's prior is invariant to parameterization

Jeffery's prior 有一个很好的性质是：构建的 prior 对于参数转换 (parameter transformation) 是 invariant 的。

举例，假设 \phi = h(\theta)，根据定义，关于 \theta 的 Jeffrey's prior 是 p(\theta) \propto [J(\theta)]^{1/2}。若将参数 \theta 转换为 \phi，则：
\begin{align*} J(\phi) &= - E\left(\frac{d^2 \log p(y|\phi)}{d \phi^2} \right) \\ &= -E\left(\frac{d^2 \log p(y|\theta = h^{-1}(\phi))}{d \theta^2} \left|\frac{d\theta}{d\phi} \right|^2 \right) \\ &= J(\theta) \left|\frac{d\theta}{d\phi} \right|^2 \end{align*}
满足 Jeffrey's invariance principle，即：p(\phi) = p(\theta) \left|\frac{d\theta}{d\phi}\right|。

相关文章

网友评论

      本文标题：概念速查：Jeffrey's Prior

      本文链接：https://www.haomeiwen.com/subject/tuwmoltx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|概念速查：Jeffrey's Prior|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！