特征分解。
整数分解质因素。
特征分解(eigendecomposition)，使用最广，矩阵分解一组特征向量、特征值。方阵𝑨的特征向量(eigenvector)，与𝑨相乘相当对该向量缩放非零向量𝑣，𝑨𝑣=λ𝑣。标量λ为特征向量对应特征值(eigenvalue)。左特征向量(left eigenvector) 𝑣ᵀ𝑨=λ𝑣ᵀ，右特征向量(right eigenvector)。𝑣是𝑨的特征向量，任何缩放向量𝑠𝑣(𝑠∈ℝ，𝑠≠0)也是𝑨的特征向量。𝑠𝑣和𝑣有相同特征值。只考虑单位特征向量。
矩阵𝑨有𝑛个线性无关特征向量{𝑣⁽¹⁾,…,𝑣⁽ⁿ⁾}，对应特征值{λ₁,…,λn}。特征向量连接成一个矩阵，每一列是一个特征向量，V=[𝑣⁽¹⁾,…,𝑣⁽ⁿ⁾]。特征值连接成一个向量𝝺=[λ₁,…,λn]ᵀ。𝑨的特征分解(eigendecomposition)，记𝑨=Vdiag(𝝺)V⁻¹。
构建具有特定特征值和特征向量矩阵，在目标方向上延伸空间。矩阵分解(decompose)成物征值和特征向量，分析矩阵特定性质。
每个实对称矩阵都可以分解成实特征向量和实特征值，𝑨=Q𝚲Qᵀ。Q是𝑨的特征向量组成正交矩阵，𝚲是对角矩阵。特征值𝚲i,i对应特征向量是矩阵Q的第i列，记Q:,i。Q是正交矩阵，𝑨看作沿方向𝑣⁽i⁾延展λi倍空间。两多或多个特征向量拥有相同特征值，特征向量产生生成子空间，任意一组正交赂量都是该特征值对应特征向量。可等价地从特征向量构成Q替代。按降序排列𝚲元素。特征分解唯一当且仅当所有特征值唯一。矩阵是奇异的当且仅当含有零特征值。实对称矩阵分解可用于优化二次方程f(x)=xᵀ𝑨x，限制||x||₂=1。x等于𝑨某个特征向量，𝑓返回对应特征值。限制条件下，函数𝑓最大值是最大特征值，最小值是最小特征值。
所有特征值是正数的矩阵为正定(positive definite)。所有特征值是非负数矩阵为半正定(positive semidefinite)。所有特征值是负数矩阵为负定(negative definite)。所有特征值是非正数矩阵为半负定(negative semidefinite)。半正定矩阵，保证∀x,xᵀ𝑨x>=0。正定矩阵保证xᵀ𝑨x=0 => x=0。
矩阵𝑨有两个标准正交特征向量，对应特征值λ₁的𝑣⁽¹⁾对应特征值为λ₂的𝑣⁽²⁾。所有单位向量u∈ℝ²集合，构成一个单位圆。所有𝑨u点集合。𝑨拉伸单位圆方式，将𝑣⁽i⁾方向空间拉伸λi倍。
奇异值分解(singular value decomposition,SVD)。
矩阵分解为奇异向量(singular vector)、奇异值(singular value)。奇异值分散应用更广泛。每个实数矩阵都有一个奇异值分解。非方阵矩阵没有特征分解。奇异值分解，矩阵𝑨分解成三个矩阵乘积。𝑨=𝑈𝐷𝑉ᵀ。𝑨是mn矩阵，𝑈是mm矩阵，𝐷是mn矩阵，𝑉是nn矩阵。矩阵经定义后有特殊结构。矩阵𝑈和𝑉正交矩阵。𝐷对角矩阵，不一定是方阵。
对角矩阵D对角线上元素为矩阵𝑨的奇异值(singular value)。矩阵𝑈的列向量为左奇异向量(left singular vector)，矩阵𝑉的列向量为右奇异向量(right singular vector)。
可以用与𝑨相关特征分解解释𝑨的奇异值分解。𝑨的左奇异向量(left singular vector)是𝑨𝑨ᵀ的特征向量。𝑨的右奇异向量(right singular vector)是𝑨ᵀ𝑨的特征向量。𝑨的非零奇异值是𝑨ᵀ𝑨特征值的平方根，也是𝑨𝑨ᵀ特征值的平方根。
SVD最有用性质，拓展矩阵求逆到非方矩阵。
参考资料：
《深度学习》
欢迎推荐上海机器学习工作机会，我的微信：qingxingfengzi
我有一个微信群，欢迎一起学深度学习。
网友评论