Cauchy-Schwarz不等式、Hölder不等式与Mink

本文介绍几个常用的与期望有关的不等式。

1 Cauchy–Schwarz不等式

Cauchy–Schwarz不等式有许多形式，这里只介绍它的期望函数的形式。

Cauchy–Schwarz不等式：

证明非常简单，只需先将分解为相互正交的两部分（类似于OLS回归）：

然后两边取平方，再求期望。注意到取平方后交叉项的期望

交叉项期望为，因此，只剩平方项的期望：

得证。

2 Hölder不等式

事实上，Cauchy–Schwarz不等式是Hölder不等式的特例。

Hölder不等式：和为两个随机变量，正数和满足

则有

证明过程如下：首先证明对于任意正数和，且正数和满足，必有

当且仅当时等号成立。

该式的证明，只需构造函数，该函数最小值在时取到，因此上式成立。

有了这一步，再将和代入，再对两边同时取期望，即可证得Hölder不等式。

3 Minkowski不等式

利用Hölder不等式，可以得到另一个重要的不等式：Minkowski不等式。

Minkowski不等式：已知随机变量和，当时，必有

它的证明如下：

取满足的，有

其中，第一个不等式用到了三角不等式，第二个不等式则是直接使用Hölder不等式。

最后两边同除以，即得证。