Moreau-Yosida regularization

内部卷积(infimal convolution)：
$(f \: \Box \: g)(v)=\inf_x (f(x)+g(v-x))$

Moreau-Yosida envelope 或者 Moreau-Yosida regularization 为:
$M_{\lambda f}=\lambda f \: \Box \: (1/2)\|\cdot\|_2^2$ ，于是:

在这里插入图片描述
事实上，这就是，我们在上一节提到过的东西。就像在上一节一样，可以证明:

以及:

虽然上面的我不知道在不可微的条件下怎么证明.
于是有与上一节同样的结果:

在这里插入图片描述
总结一下就是，近端算子，实际上就是最小化, 等价于，即:

这个，需要通过Moreau分解得到.

与次梯度的联系 $\mathbf{prox}_{\lambda f} = (I + \lambda \partial f)^{-1}$

在这里插入图片描述
上面的式子，有一个问题是，这个映射是单值函数吗（论文里也讲，用关系来讲更合适），因为的原因，不过，论文的意思好像是的，不过这并不影响证明:

在这里插入图片描述

改进的梯度路径

就像在第一节说的，和之前有关Moreau envelope表示里讲的:
$\mathbf{prox}_{\lambda f} (x) = x - \lambda \nabla M_{\lambda f}(x)$
实际上， $\mathbf{prox}_{\lambda f}$ 可以视为最小化Moreau envelope的一个迭代路径，其步长为 $\lambda$ . 还有一些相似的解释.
假设 $f$ 是二阶可微的,且 $\nabla^2 f(x) \succ0$ （表正定）,当 $\lambda \rightarrow 0$ :
$\mathbf{prox}_{\lambda f} (x) = (I + \lambda \nabla f)^{-1} (x) = x - \lambda \nabla f(x)+o(\lambda)$
这个的证明，我觉得是用到了变分学的知识:
$\delta(I+\lambda \nabla f)^{-1}|_{\lambda=0}=-\frac{\nabla f}{(I+\lambda \nabla f)^{-2}}|_{\lambda =0}= -\nabla f$
所以上面的是一阶距离的刻画.