美文网首页
Proximal Algorithms 1 介绍

Proximal Algorithms 1 介绍

作者: 馒头and花卷 | 来源:发表于2019-06-03 18:39 被阅读0次

Proximal Algorithms

定义

令f: \mathrm{R}^n \rightarrow \mathrm{R} \cup \{+ \infty \}为闭的凸函数，即其上镜图:
\mathbf{epi} f = \{ (x, t) \in \mathrm{R}^n \times \mathrm{R}| f(x) \le t\}
为非空闭的凸集，定义域：
\mathbf{dom} f = \{x \in \mathrm{R}^n| f(x) < + \infty\}

近端算子(是这么翻译的?)proximal operator \mathbf{prox}_f: \mathrm{R}^n \rightarrow \mathrm{R}^n定义为：

在这里插入图片描述
我们常常会对添加一个比例系数，而关心的近端算子：
在这里插入图片描述
注：等式右边乘以一个常数便是的形式，所以是等价的。

解释

图形解释

在这里插入图片描述
注：图中的细黑线是函数的等值线，而粗黑线表示定义域的边界。在蓝色的点处估计其得到红色的点。

可以发现，\mathbf{prox}_f(v)实际上是对点v附近的一个估计。

梯度解释

假设\lambda很小，且f可微，那么，容易知道f(x) + \frac{1}{2\lambda}\|x-v\|_2^2取得极值(实际上也是最值)的条件是：
\nabla f(x) +\frac{x-v}{\lambda}=0 \Rightarrow x=v-\lambda \nabla f(x) \approx v-\lambda \nabla f(v)
可以看到，\mathbf{prox}_f(v)近似为在v点的梯度下降，而\lambda为步长。

一个简单的例子

有一个问题，就是，如果我们的目的是最小化f(x)，那么利用\mathbf{prox}_f会不会太愚蠢了，既然我们能求解\mathbf{prox}_f，那么直接最小化f(x)应该也不是难事吧。这个问题留到以后再讨论吧，我也不知道能否找到一个恰当的例子来反驳。

当f是一个示性函数：

在这里插入图片描述
其中为非空凸集，我们来看看这个时候的:

首先，我们可以确定, 否则结果为无穷，所以，问题可以转化为一个Euclid范数下投影问题：
在这里插入图片描述
所以一个问题是，如果的尾项不用范数，用别的范数会变成什么样？

相关文章

网友评论

      本文标题：Proximal Algorithms 1 介绍

      本文链接：https://www.haomeiwen.com/subject/zudhxctx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|Proximal Algorithms 1 介绍|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！