共轭函数是最优化问题中非常重要的概念,常用来在原问题和对偶问题之间进行转换。
定义
对于原函数,其共轭函数为
其中,表示两个变量的内积。
注意,这个的共轭函数的定义域要求对有上界。即,共轭函数的值不能无穷大。
几何意义
对于共轭函数的每一个自变量,其取值相当于一条直线与原函数之差的最大值:这条直线,其斜率由决定。
两条曲线之差随着变化,其最大值可以对求导得到: 即:曲线斜率与直线斜率相同处的,能够得到最大值。
带入满足条件的x,即可得到共轭函数。
例子
原函数(Negative entropy):原函数为增函数。
对于,为减函数。则为减函数,不超过其在零点取值。
对于,也是增函数 增速小于增速,故其差有上界。
故,的定义域为。
找到最大值处的表达式:代入共轭函数:
参考:
网友评论