凸函数的一阶条件及其证明

作者: 坐看云起时zym | 来源:发表于2019-05-04 21:24 被阅读0次

凸函数的一阶条件及其证明
Hoeffding 不等式
逻辑回归损失函数不使用MSE的原因
EM算法推导
凸函数学习笔记
Convex Relaxation, Convex Conjug
高中奥数 2022-03-01
最优化理论
凸函数
凸函数

判断凸函数的一阶条件如下图所示：

First-order conditions.png
注意到右式为函数在点处的一阶泰勒展开，在n = 1情形下的几何意义如下图：

几何意义.png

具体证明如下：
充分性：
$\forall x,y \in domf$ 令 $z = \theta x + (1- \theta)y, \theta \in [0,1], x \neq y$
$f(x) \geqslant f(z) + \triangledown f(z)^{T}(x -z)$ ①
$f(y) \geqslant f(z) + \triangledown f(z)^{T}(y -z)$ ②
$\theta *$ ① + $(1 - \theta) *$ ② $\Rightarrow$ $\theta f(x) + (1 - \theta) f(y) \geqslant \triangledown f(z)^{T}[\theta x - \theta z + (1 - \theta) y - (1 - \theta) z]$
$\therefore \theta f(x) + (1 - \theta) f(y) \geqslant f(\theta x + (1 - \theta)y)$ #充分性得证

必要性：
令 $g(t) = f(ty + (1-t)x)$ ,根据“Restriction of convex function to a line”, $g(t)$ 与 $f(x)$ 有相同的凸性， $\because f(x)$ 为凸函数， $\therefore g(t)$ 为凸函数
${g(t)}' = \triangledown f(ty + (1-t)x)^{T}y - \triangledown f(ty + (1-t)x)^{T}x = \triangledown f(ty + (1-t)x)^{T}(y-x)$
注意到 $g(t)$ 为直线 $\therefore g(1) - g(0) \geqslant {g(0)}' *1$ ,代入g(1),g(0), ${g(0)}'$ $\Rightarrow$ $f(y) \geqslant f(x) + \triangledown f(z)^{T}(y -x)$
#必要性得证

凸函数的一阶条件及其证明
判断凸函数的一阶条件如下图所示：具体证明如下：充分性：令 ① ② ① + ② #充分性得证必要性：令...
Hoeffding 不等式
基础准备 1.定比分点公式点为上一点，则设，则证明： 2.凸函数性质设，为凸函数，则 3.markov不等式...
逻辑回归损失函数不使用MSE的原因
原因总结： MSE会有梯度消失现象 MSE的导数非凸函数，求解最优解困难公式证明 1. 梯度消失公式证明令，...
EM算法推导
推导EM算法，并证明收敛性。 Jensen’s inequality 定理：若是凸函数，是随机变量，我们有：若是...
凸函数学习笔记
在学习七月中的机器学习的一些笔记，如果有侵权，请告知，立即处理。凸函数一阶可微
Convex Relaxation, Convex Conjug
了解机器学习的人应该都知道，在优化非凸函数的时候，希望用一个凸函数来代替这个非凸函数，以获取凸函数在优化过程中良好...
高中奥数 2022-03-01
H"older不等式:设是正实数,,对任意正实数,有(即:.) 证明记,则式为即. 因为)是向上凸函数(因为),...
最优化理论
凸函数若函数满足其中，，则称是凸函数。可以是多元函数。 Jensen不等式若为凸函数，则对于任意点集，若，【...
凸函数
凸集：如果集合中任意2个元素连线上的点也在集合中，那么这个集合就是凸集。显然，上图中的左图是一个凸集，上图中的右...
凸函数
定义凸函数： f(x)对于定义域S（凸集）上任意两点,如果,则称f是凸的。强凸函数: 函数f可微，若对任意x,...