詹森不等式（Jensen's Inquality）

作者: 贤良 | 来源:发表于2019-08-18 11:38 被阅读0次

詹森不等式（Jensen's Inquality）
Jensen不等式初步理解及证明
Jensen不等式及其应用
Jensen不等式
如何理解 Jensen 不等式？
最优化理论
机器学习数学基础-微积分
寿险行业知识总结1
EM算法
丹麦CHAT BOARD玻璃板品牌办公用品首选【意大利之家】

设 $f(x)$ 在区间 $(a,b)$ 内存在二阶导数，且 $f^{\prime\prime}(x)<0$ ，则对于 $(a,b)$ 内的任意两个不同的 $x_{1}$ 与 $x_{2}$ , 以及满足 $s + t = 1$ , $0<s<1$ 的两个数 $s$ 与 $t$ ，均有

$f(sx_{1} + tx_{2}) > sf(x_{1}) + tf(x_{2})$ .

【方法一】将 $f(x)$ 在某点 $x = x_{0}$ 处按拉格朗日余项的泰勒公式展开至 $n = 1$ ：

$f(x) = f(x_{0}) + f^{\prime}(x_{0})(x - x_{0}) + \frac{1}{2!}f^{\prime\prime}(\xi )(x-x_{0})^2$ .

分别以 $x = x_{1} ， x = x_{2}$ 代入，得到两个式子：

$f(x_{1}) = f(x_{0}) + f^{\prime}(x_{0})(x_{1} - x_{0}) + \frac{1}{2!}f^{\prime\prime}(\xi )(x_{1} - x_{0})^2$ ，

$f(x_{2}) = f(x_{0}) + f^{\prime}(x_{0})(x_{2} - x_{0}) + \frac{1}{2!}f^{\prime\prime}(\xi )(x_{2} - x_{0})^2$ .

将第一式两边乘 $s$ ，第二式两边乘 $t$ ，相加，得

$sf(x_{1}) + tf(x_{2}) = f(x_{0}) + f^{\prime}(x_{0})(sx_{1} + tx_{2} - x_{0}) + \frac{s}{2}f^{\prime\prime}(\xi_{1} )(x_{1} - x_{2})^2 + \frac{t}{2}f^{\prime\prime}( \xi_{2})(x_{2} - x_{0})^2$

取 $x_{0} = sx_{1} + tx_{2}$ ，由于 $s + t =1 , 0 < s < 1 ,$ 从而 $0 < t < 1,$ $x_{0}$ 介于 $x_{1}$ 与 $x_{2}$ 之间，于是 $x_{0} \in (a,b)$ , 有

$sf(x_{1}) + tf(x_{2}) = f(sx_{1}+tx_{2}) + 0 + \frac{s}{2}f^{\prime\prime}(\xi_{1})(t(x_{2}-x_{1})^2) +\frac{t}{2}f^{\prime\prime}(\xi_{2})(s(x_{1}-x_{2})^2 ) < f(sx_{1}+tx_{2})$

证毕。

【方法二】将欲证之式写到一边，

$f(sx_{1}+tx_{2})-sf(x_{1})-tf(x_{2}) =(s+t)f(sx_{1}+tx_{2})-sf(x_{1})-tf(x_{2})$

$=s[f(sx_{1}+tx_{2})-f(x_{1})]-t[f(x_{2})-f(sx_{1}+tx_{2})]$

$=sf^{\prime}(\xi _{1})[(s-1)x_{1}+tx_{2}]-tf^{\prime}(\xi _{2})[(1-t)x_{2}-sx_{1}]$

$=stf^{\prime}(\xi _{1})(x_{2}-x_{1})-stf^{\prime}(\xi _{2})(x_{2}-x_{1})$

$=stf^{\prime\prime}(\xi_{3})(\xi_{1} - \xi_{2})(x_{2}-x_{1})$

不妨设 $x_{1} < x_{2}$ ，于是 $x_{1} <\xi_{1} < sx_{1}+tx_{2} < \xi_{2} < x_{2}$ ，所以 $x_{2} - x_{1} > 0, \xi_{2} - \xi_{1}>0$ , 再有 $f^{\prime\prime}(x)<0$ ，从而推知

$f(sx_{1}+tx_{2})-sf(x_{1})-tf(x_{2})>0$ ，

即有 $f(sx_{1}+tx_{2})>sf(x_{1})+tf(x_{2})$ ，证毕。

P66

【评注】

1. 注意 $\xi_{1},\xi_{2},\xi_{3}$ 的区别.

2. 如果将条件中区间 $(a,b)$ 改为 $[a,b]$ ，则结论中 $(a,b)$ 亦可改为 $[a,b]$ .

3. 如果将条件 “ $f^{\prime\prime}(x)<0$ ” 与 “ $0<s<1$ ” 分别放宽到 “ $f^{\prime\prime}(x)\leq 0$ ” 与 “ $0\leq s\leq 1$ ”，则结论亦应该为“ $f(sx_{1}+tx_{2})\geq sf(x_{1})+tf(x_{2})$ ”.

詹森不等式（Jensen's Inquality）
设在区间内存在二阶导数，且，则对于内的任意两个不同的与, 以及满足,的两个数与，均有 . 【方法一】 ...
Jensen不等式初步理解及证明
Jensen不等式（Jensen's inequality）是以丹麦数学家Johan Jensen命名的，它在概率...
Jensen不等式及其应用
Jensen不等式的形式有很多种，这里重点关注有关于随机变量期望的形式。 1 Jensen不等式 Jensen不等...
Jensen不等式
（hessan矩阵是根据泰勒公式推导）
如何理解 Jensen 不等式？
源自：https://www.zhihu.com/question/53866462
最优化理论
凸函数若函数满足其中，，则称是凸函数。可以是多元函数。 Jensen不等式若为凸函数，则对于任意点集，若，【...
机器学习数学基础-微积分
极限通俗语言: 函数 f 在 x0 处的极限为 L数学记号: lim f(x) = L 微分学 Jensen 不等式
寿险行业知识总结1
一、理论依据 1、凹函数的詹森不等式。经济学中的凹函数为凹向原点的函数，对于凹函数而言有一个有名的不等式，称为詹...
EM算法
1. 前提推导 2. EM算法 EM算法就是含有隐变量的概率模型参数的极大似然估计法。延森不等式（Jensen'...
丹麦CHAT BOARD玻璃板品牌办公用品首选【意大利之家】
1982年，丹麦玻璃专家Hans Henning Jensen成立了Focus Products A / S，最初...