线性代数基础

作者: 老羊_肖恩 | 来源:发表于2019-07-22 11:19 被阅读0次

目录
AI技术体系和领域浅总结
【带你读】花书《深度学习》导读第二章线性代数基础上线性相
多变量数据
人工智能学习路径
线性代数知识补漏
深度学习数学基础
人工智能基础课
计算机视觉_学习目录
线性代数基础

1 向量和向量空间

1.1 标量和向量

标量（Scalar）是一个实数，只有大小，没有方向。而向量（Vector，也称之为矢量）是由一组实数组成的有序数组，同时具有大小和方向。一n维向量 $\vec{a}$ 是由n个有序实数组成，表示为:
$\vec{a} = [a_1, a_2, ···, a_n]$ 其中 $a_i$ 称为向量 $\vec{a}$ 的第i个分量，或第i维。

1.2 向量空间

向量空间（Vector Space），也称线性空间（Linear Space），是指由向量组成的集合，并满足以下两个条件：

向量加法：向量空间V中的两个向量 $\vec{a}$ 和 $\vec{b}$ ，它们的和 $\vec{a} + \vec{b}$ 也属于空间V；
标量乘法：向量空间V中的任一向量 $\vec{a}$ 和任一标量 $c$ ，它们的乘积 $c · \vec{a}$ 也属于空间V。

欧氏空间 一个常用的线性空间是欧氏空间（Euclidean Space）。一个欧氏空间表示通常为Rⁿ，其中n为空间维度（Dimension）。欧氏空间中向量的加法和标量乘法定义为：
$[a_1, a_2, ···, a_n] + [b_1, b_2, ···, b_n] = [a_1 + b_1, a_2 + b_2, ···, a_n + b_n]$
$c[a_1, a_2, ···, a_n] = [ca_1, ca_2, ···, ca_n]$ 其中a, b, c ∈ R为一个标量。

线性子空间 向量空间V的线性子空间U是V的一个子集，并且满足向量空间的条件（向量加法和标量乘法）。

线性无关 线性空间V中的一组向量 $\lbrace\vec{v_1}, \vec{v_2}, · · · , \vec{v_n}\rbrace$ ，如果对任意的一组标量 $(λ_1, λ_2, · · · , λ_n)$ ，满足 $λ_1\vec{v_1} + λ_2\vec{v_2} + · · · + λ_n\vec{v_n} = 0$ ，则必然 $λ_1 = λ_2 = · · · =λ_n = 0$ ，那么向量 ${\vec{v_1}, \vec{v_2}, · · · , \vec{v_n}}$ 是线性无关的，也称为线性独立的。

基向量 向量空间V的基（Base） $B = \lbrace\vec{e_1}, \vec{e_2}, · · · , \vec{e_n}\rbrace$ 是V 的有限子集，其元素之间线性无关。向量空间V所有的向量都可以按唯一的方式表达为B中向量的线性组合。对任意 $\vec{v} ∈ V$ ，存在一组标量 $(λ_1, λ_2, · · · , λ_n)$ 使得
$v = λ_1\vec{e_1} + λ_2\vec{e_2} + · · · + λ_n\vec{e_n}$
其中基B中的向量称为基向量（Base Vector）。如果基向量是有序的，则标量 $(λ_1, λ_2, · · · , λ_n)$ 称为向量 $\vec{v}$ 关于基B的坐标（Coordinates）。

1.3 范数

范数（Norm）是一个表示向量“长度”的函数，为向量空间内的所有向量赋予非零的正长度或大小。对于一个n维向量 $\vec{v}$ ，一个常见的范数函数为ℓ_p 范数:
$ℓ_p(\vec{v}) = ||\vec{v}||_p= (\sum_{i=1}^n|v_i|^p)^{1/p}$
其中p ≥ 0为一个标量的参数。常用的p的取值有1，2，∞等。
$ℓ_1$ 范数 ℓ1范数为向量的各个元素的绝对值之和。
$||\vec{v}||_1 = \sum_{i=1}^n|v_i|$ $ℓ_2$ 范数 ℓ2范数为向量的各个元素的平方和再开平方。
$||\vec{v}||_2 = \sqrt{\sum_{i=1}^nv_i^2} = \sqrt{\vec{v}^T\vec{v}}$ ℓ2 范数又称为Euclidean 范数或者Frobenius 范数。从几何角度，向量也可以
表示为从原点出发的一个带箭头的有向线段，其ℓ2 范数为线段的长度，也常称为
向量的模。
$ℓ_∞$ 范数 ℓ∞ 范数为向量的各个元素的最大绝对值。
$||v||_∞ = max\lbrace v_1, v_2, ···, v_n\rbrace$ 下图给出了常见的范数示例：

常见的范数，红线表示不同范数的ℓp = 1 的点

2 矩阵

由m × n个数a_ij (i = 1,2,···,m; j = 1,2,···, )排成的m行n列的数表称为m行n列矩阵，简称m × n矩阵。表示方法如下：
$A=\begin{pmatrix} a_{11} & a_{12}&{···}&a_{1n}\\ a_{21} & a_{22}&{···}&a_{2n}\\ \vdots & \vdots&\ddots&\vdots\\ a_{m1} & a_{m2}&{···}&a_{mn}\\ \end{pmatrix}$ 一个矩阵A从左上角数起的第i行第j列上的元素称为第i, j项，通常记为[A]ij 或a_ij。矩阵A定义了一个从Rⁿ到R^m的线性映射，矩阵A也记作A_{m × n}。行数和列数都等于n的矩阵称之为n阶矩阵或n阶方阵，记作A_n。
只有一行的矩阵
$A=\begin{pmatrix} a_1 & a_2 & \dots & a_n \end{pmatrix}$ 称为行矩阵，又称为行向量。为避免混淆，行矩阵也记作
$A=\begin{pmatrix} a_1 ， a_2 & \dots & a_n \end{pmatrix}$ 只有一列的矩阵称之为列矩阵，也称之为列向量：
$A=\begin{pmatrix} a_1 \\ a_2\\ \vdots \\ a_n\\ \end{pmatrix}$ 如果矩阵A和矩阵B的行数和列数都相等，那么称它们为同型矩阵。如果A=(a_ij)与B=(b_ij)是同型矩阵，且所有对应元素满足：
$a_{ij} = b_{ij}$ 那么称矩阵A和矩阵B相等，记作：
$A=B$ 元素都为0的矩阵称之为零矩阵，注意，不同型的零矩阵是不相等的。

2.1 线性映射

线性映射（Linear Mapping）是指从线性空间V到线性空间W的一个映射函数f : V → W，并满足：对于V中任何两个向量u和v以及任何标量c，有
$f(u+v) = f(u) + f(v)$
$f(cv) = cf(v)$
n个变量x₁，x₂, ···，x_n与m个变量y₁，y₂，···，y_m之间的关系式
$y =Ax= \begin{cases} y_1 = a_{11}x_1 + a_{12}x_2 + \dots + a_{1n}x_n\\ y_2 = a_{21}x_1 + a_{22}x_2 + \dots + a_{2n}x_n\\ \vdots\\ y_m = a_{m1}x_1 + a_{m2}x_2 + \dots + a_{mn}x_n\\ \end{cases}$ 表示一个从变量x₁，x₂, ···，x_n到变量y₁，y₂，···，y_m的线性变换，其中A定义为m × n的矩阵（Matrix），是一个由m行n列元素排列成的矩形阵列，a_ij为常数。

2.2 矩阵运算

2.2.1矩阵加法

对于两个m × n的矩阵A和B，他们的和为A + B，具体如下：
$A + B= \begin{pmatrix} a_{11} + b_{11} &a_{12} + b_{12} & \dots & a_{1n} + b_{1n}\\ a_{21} + b_{21} &a_{22} + b_{22} & \dots & a_{2n} + b_{2n}\\ \vdots & \vdots & \vdots & \vdots \\ a_{m1} + b_{m1} &a_{m2} + b_{m2} & \dots & a_{mn} + b_{mn}\\ \end{pmatrix}$ 只有当两个矩阵为同型矩阵时，它们才能进行加法运算。矩阵加法满足以下运算规律：
$\begin{align} & A + B = B + A \\ & (A + B) + C = A + (B + C) \\ & A + (-A) = 0 \end{align}$

2.2.2数与矩阵相乘

数c与矩阵A的乘积记作cA或Ac，运算如下：
$cA = Ac = \begin{pmatrix} ca_{11} & ca_{12} & \dots & ca_{1n}\\ ca_{21} & ca_{22} & \dots & ca_{2n}\\ \dots & \dots & \dots & \dots\\ ca_{m1} & ca_{m2} & \dots & ca_{mn}\\ \end{pmatrix}$ 数乘矩阵满足以下运算规律
$\begin{align} & (\alpha \beta)A = \alpha(\beta)A \\ & (\alpha + \beta)A = \alpha A+ \beta A \\ & \alpha(A + B) = \alpha A + \alpha B\\ \end{align}$ 矩阵加法与矩阵数乘合称为矩阵的线性运算。

2.2.3矩阵与矩阵相乘

假设有两个A和B 分别表示两个线性映射g : R^m → R^k 和 f: Rⁿ → R^m ，则其复合线性映射
$(g ◦ f)(x) = g(f(x)) = g(Bx) = A(Bx) = (AB)x,$ 其中AB表示矩阵A和B的乘积，定义为
$[AB]_{ij} =\sum_{k=1}^{m}a_{ik}b_{kj}$ 两个矩阵的乘积仅当第一个矩阵的列数和第二个矩阵的行数相等时才能定义。
如A是k × m矩阵和B 是m × n矩阵，则乘积AB是一个k × n的矩阵。矩阵的乘法满足结合律和分配律：
• 结合律：(AB)C = A(BC),
• 结合律：(aB)C = A(aBC), a是标量。
• 分配律：(A + B)C = AC + BC，C(A + B) = CA + CB.

2.3 矩阵类型

对称矩阵 对称矩阵（Symmetric Matrix）指其转置等于自己的矩阵，即满足
$A = AT$
对角矩阵 对角矩阵（Diagonal Matrix）是一个主对角线之外的元素皆为0 的矩阵。对角线上的元素可以为0 或其他值。一个n × n的对角矩阵A满足：
$[A]_{ij} = 0 ,i \neq j , ∀i, j ∈ \{1, · · · , n\}$ 对角矩阵A也可以记为diag(a)，a为一个n维向量，并满足
$[A]_{ii} = a_i$ n × n的对角矩阵A = diag(a) 和n维向量b的乘积为一个n维向量
$Ab = diag(a)b = a ⊙ b$ 其中⊙表示点乘，即(a ⊙ b)_i = a_ib_i。

单位矩阵 单位矩阵（Identity Matrix）是一种特殊的的对角矩阵，其主对角线元素为1，其余元素为0。n阶单位矩阵I_n，是一个n × n的方块矩阵。可以记为
$I_n = diag(1, 1, ..., 1)$ 一个m × n的矩阵A和单位矩阵的乘积等于其本身。
$AI_n = I_mA = A$ 逆矩阵 对于一个n × n的方块矩阵A，如果存在另一个方块矩阵B 使得
$AB = BA = I_n$
其中I_n为单位阵，则称A是可逆的。矩阵B称为矩阵A的逆矩阵（Inverse Matrix），记为A⁻¹。一个方阵的行列式等于0 当且仅当该方阵不可逆。

正定矩阵 对于一个n × n的对称矩阵A，如果对于所有的非零向量x ∈ Rⁿ都满足
$x^TAx > 0$ 则A为正定矩阵（Positive-Definite Matrix）。如果 $x^TAx ≥ 0$ 则A是半正定矩阵（Positive-Semidefinite Matrix）。

正交矩阵 正交矩阵（Orthogonal Matrix ）A为一个方块矩阵，其逆矩阵等于其转置矩阵。
$A^T = A^{−1}$ 等价于A^TA = AA^T = I_n。

Gram矩阵 向量空间中一组向量 $\vec v_1, \vec v_2, \dots, \vec v_n$ 的Gram矩阵（Gram Matrix）G是内积的对称矩阵，其元素G_ij为 $v^T_iv_j$ 。

2.4 特征值与特征矢量

如果一个标量λ和一个非零向量v满足Av = λv
则λ和v分别称为矩阵A的特征值（Eigenvalue）和特征向量（Eigenvector）。

目录
目录绪论数学基础微积分基础线性代数线性代数基础扩展阅读:如何生动有趣的入门线性代数概率论概率基础贝叶斯原理贝叶...
AI技术体系和领域浅总结
数学基础微积分《高等数学》线性代数《线性代数》概率统计《概率论与数理统计》信息论《信息论基础》（ ...
【带你读】花书《深度学习》导读第二章线性代数基础上线性相
线性代数是深度学习的数学基础，学习深度学习之前必须掌握线性代数的相关知识。线性代数的内容是抽象的，本文旨在用直观易...
多变量数据
注：采转归档，自己学习查询使用线性代数基础PCA分析
人工智能学习路径
一、数学基础数据分析概率论线性代数与矩阵二、Python基础 Python基础语法 Python常用库 P...
线性代数知识补漏
线性代数已经学习完毕基础部分了，下面就是矩阵分析了
深度学习数学基础
本文来自《动手学习深度学习》附录本文总结了本书中涉及的有关线性代数、微分和概率的基础知识。线性代数下面分别概...
人工智能基础课
人工智能基础课数学基础 (7讲) 01 数学基础 | 九层之台，起于累土：线性代数 02 数学基础 | 月有阴晴...
计算机视觉_学习目录
学习目录编程基础：Python 数据基础：线性代数高等数学数理统计视觉库 OpenCv掌握深度学习深...
线性代数基础
矩阵范数定义一个在m×n的矩阵上的矩阵范数(matrix norm)是一个从m×n线性空间到实数域上的一个函数...