首先介绍一个算法：coordinate-wise minimization
问题的描述：给定一个可微的凸函数
，如果在某一点x，使得f(x)在每一个坐标轴上都是最小值，那么f(x)是不是一个全局的最小值。
形式化的描述为：是不是
对于所有的d，i都有
这里
的代表第i个标准基向量。
答案为成立。
这是因为：
但是问题来了，如果对于凸函数f，若不可微该会怎样呢？
答案为不成立，上面的图片就给出了一个反例。
那么同样的问题，现在
，其中g是可微的凸函数，每一个hi都是凸的？
答案为成立。
证明如下，对每一个y
坐标下降(Coordinate descent)：
这就意味着，对所有的
，其中g是可微的凸函数，每一个hi都是凸的，我们可以使用坐标下降寻求一个最小值，我们从一个最初的猜想
开始，对k进行循环：
每一次我们解决了
，我们都会使用新的值。
Tseng (2001)的开创性工作证明：对这种f（f在紧集上
连续，且f到达了其最小值），
的极限值，k=1,2,3….是f的一个最小元(minimizer)。
在实分析领域：
随后收敛与x*( Bolzano-Weierstrass)
收敛于f*( monotoneconvergence)
其中：
坐标下降的顺序是任意的，可以是从1到n的任意排列。
可以在任何地方将单个的坐标替代成坐标块
关键在于一次一个地更新，所有的一起更新有可能会导致不收敛
我们现在讨论一下坐标下降的应用：
注：原文链接：https://blog.csdn.net/u013802188/article/details/40476989
学习链接
网友评论