线性代数

3.1 向量关于标量求导

向量y=⎡⎣⎢⎢⎢⎢y1y2⋮ym⎤⎦⎥⎥⎥⎥y=[y1y2⋮ym]关于标量xx求导可以表示为∂y∂x=⎡⎣⎢⎢⎢⎢⎢⎢⎢∂y1∂x∂y2∂x⋮∂ym∂x⎤⎦⎥⎥⎥⎥⎥⎥⎥∂y∂x=[∂y1∂x∂y2∂x⋮∂ym∂x]

此时为正切向量。∂y∂x∂y∂x为yy的正切向量。注意，有映射y:Rm→Rmy:Rm→Rm

3.2 标量关于向量求导

标量yy关于向量x=⎡⎣⎢⎢⎢⎢x1x2⋮xn⎤⎦⎥⎥⎥⎥x=[x1x2⋮xn]求导可以表示为∂y∂x=[∂y∂x1∂y∂x2⋯∂y∂xn]∂y∂x=[∂y∂x1∂y∂x2⋯∂y∂xn]

此时为梯度向量。∂y∂x∂y∂x为标量yy在空间RmRm的梯度，该空间以xx为基。

3.3 向量关于向量求导

向量函数（即函数组成的向量）y=⎡⎣⎢⎢⎢⎢y1y2⋮ym⎤⎦⎥⎥⎥⎥y=[y1y2⋮ym]关于向量x=⎡⎣⎢⎢⎢⎢x1x2⋮xn⎤⎦⎥⎥⎥⎥x=[x1x2⋮xn]的导数可以写作∂y∂x=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢∂y1∂x1∂y2∂x1⋮∂ym∂x1∂y1∂x2∂y2∂x2⋮∂ym∂x2⋯⋯⋱⋯∂y1∂xn∂y2∂xn⋮∂ym∂xn⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥∂y∂x=[∂y1∂x1∂y1∂x2⋯∂y1∂xn∂y2∂x1∂y2∂x2⋯∂y2∂xn⋮⋮⋱⋮∂ym∂x1∂ym∂x2⋯∂ym∂xn]

此时，为Jacobian矩阵

4 关于矩阵的导数

4.1 矩阵关于标量求导

正切矩阵表示为∂Y∂x=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢∂y11∂x∂y21∂x⋮∂ym1∂x∂y12∂x∂y22∂x⋮∂ym2∂x⋯⋯⋱⋯∂y1n∂x∂y2n∂x⋮∂ymn∂x⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥∂Y∂x=[∂y11∂x∂y12∂x⋯∂y1n∂x∂y21∂x∂y22∂x⋯∂y2n∂x⋮⋮⋱⋮∂ym1∂x∂ym2∂x⋯∂ymn∂x]

4.2 标量关于矩阵求导

梯度矩阵表示为∂y∂X=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢∂y∂x11∂y∂x12⋮∂y∂x1q∂y∂x21∂y∂x22⋮∂y∂x2q⋯⋯⋱⋯∂y∂xp1∂y∂xp2⋮∂y∂xpq⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥∂y∂X=[∂y∂x11∂y∂x21⋯∂y∂xp1∂y∂x12∂y∂x22⋯∂y∂xp2⋮⋮⋱⋮∂y∂x1q∂y∂x2q⋯∂y∂xpq]

注意以上XX为其索引的转置。

5 布局约定(Layout conventi