Hessian, Jacobian and Residual

作者: 轻骑兵1390 | 来源:发表于2020-08-16 17:51 被阅读0次

Hessian, Jacobian and Residual
《深度学习》笔记
Jacobian矩阵、Hessian矩阵和多元函数的二阶导数
Jacobian矩阵和Hessian矩阵
Jacobian矩阵和Hessian矩阵
Localization - the Kalman Filter
残差网络
Deep Residual Network(未看)
编程问题
FEniCS中如何提取出刚度矩阵

Hessian, Jacobian and Residual

Hessian, 雅克比和残差

1. Hessian and Jacobian

优化算法的目标是计算 $\Delta x$ 满足：
$\begin{aligned} \Delta x &= \mathop{argmin}\limits_{\Delta x}||f(x+\Delta x)||^2\\ &\approx \mathop{argmin}\limits_{\Delta x}\frac{1}{2} \left|| f(x) + J(x)^T\cdot \Delta x\right||^2 \end{aligned}$
其中， $J(x)$ 为 $f(x)$ 在 $x$ 处的导数, 为列向量。
$\begin{aligned} \left||f(x) + J(x)^T\cdot \Delta x\right||^2 &= \left(f(x) + J(x)^T \cdot \Delta x\right)^T \cdot \left(f(x) + J(x)^T \cdot \Delta x\right) \\ &= ||f(x)||^2 + 2f(x)J(x)^T \Delta x + \Delta x J(x) J(x)^T \Delta x \end{aligned}$
上式对 $\Delta x$ 求导，另其等于0，可得：
$J(x)^Tf(x) + J(x) J(x)^T \Delta x = 0$
化简得到：
$\begin{aligned} J(x) J(x)^T \Delta x &= -J(x)^Tf(x)\\ H(x)^T \Delta x &= g(x) \end{aligned}$
其中 $H = J\cdot J^T$ 可以近似为牛顿法中的二阶Hessian阵. 注意这里近似需要满足一个重要条件就是：

$\Delta x$ 是微小值。

这里 $\Delta x$ 是微小值使得:

方程 $f(x+\Delta x) \approx f(x) + J(x)\Delta x$ , 可以忽略高阶项；
进而 $H(x) = J(x) J(x)^T$ .

2. Hessian and Residual

假定对于残差 $e_i$ 其对应的雅克比矩阵为 $J_i$ ：
$J_i = [J_i^1, J_i^2, ..., J_i^n]^T$
$J_i^n$ 表示对应第 $n$ 个变量。
$i$ 和 $j$ 个雅克比可以共同表示为：
$J = \begin{bmatrix} J_i & J_j \end{bmatrix} = \begin{bmatrix} J_i^1 & J_j^1 \\ J_i^2 & J_j^2 \\ ... & ... \\ J_i^n & J_j^n \end{bmatrix}$
下面计算Hessian阵：
$\begin{aligned} H = J \cdot J^T &= \begin{bmatrix} J_i \\ J_j \end{bmatrix} \cdot \begin{bmatrix} J_i^T & J_j^T \end{bmatrix} \\ &= J_iJ_i^T + J_jJ_j^T \end{aligned}$
也就是说Hessian阵实际上是每一个残差的雅克比 $J$ ，通过 $JJ^T$ 计算结果的总和。

Hessian, Jacobian and Residual
Hessian, Jacobian and Residual Hessian, 雅克比和残差 1. Hessian...
《深度学习》笔记
Chapter 4 4.3.1 Jacobian 和 Hessian矩阵当Hessian的所有特征值都是正的牛顿法...
Jacobian矩阵、Hessian矩阵和多元函数的二阶导数
Jacobian矩阵和Hessian矩阵设，于是关于的jocobian矩阵定义为设，则关于的Hessian矩阵...
Jacobian矩阵和Hessian矩阵
偷懒排公式，直接上一个不错的博客的链接：J矩阵&H矩阵&牛顿法
Jacobian矩阵和Hessian矩阵
对于多输入多输出系统的分析、优化，常常需要用到系统在当前状态下（状态为向量）的一阶导和二阶导。多元变量的微分需要引...
Localization - the Kalman Filter
and are the Jacobian matrices Assume is a from robot co...
残差网络
Residual Network 原文：Deep Residual Learning for Image Reco...
Deep Residual Network(未看)
Deep Residual Network学习(一)Deep Residual Network学习(二)
编程问题
1.hessian方法重载导致报错客户端B 调用服务端A 的hessian接口，hessian正常启动，浏览器...
FEniCS中如何提取出刚度矩阵
我在https://fenicsproject.org/qa/12488/jacobian-matrix-extr...