向量随笔

作者: zidea | 来源:发表于2020-08-04 20:29 被阅读0次

linearalgebra.png

向量

我们在机器学习中大量地使用到了向量，利用向量来描述我们熟知物体，通过的线性变换来实现模型。那么我们为什么需要向量，向量那些特征满足我们可以用向量来描述世界呢，这是本次要讨论。

可以将向量理解维 n 维空间中一个点，从 n 维空间的原点引出一条线到该点就是一个向量。用向量来表示我们生活现实世界中物体。这个解释一下，我们通常用一些关键词来描述一个物体，例如我们介绍一个人，会介绍他的性别、年龄、身高和体重。每一个特征都是在一定取值范围中一个数据，这些特征组合在一起就能描述出一个人，而且通过这些特征我们可以定位到这个人，或者这个人属于某一类人群。想一想这不就是机器学习中分类问题。在机器学习中我们输入一个向量，然后通过线性变换后得到一个便于分类的向量。

行向量和列向量，表示如下所谓行向量和列向量只是表示方式不同，可以通过变换在行向量和列向量间变换
$\left( \begin{matrix} 1 & 2 & 3 \end{matrix} \right)$

$\left( \begin{matrix} 1 \\ 2 \\ 3 \end{matrix} \right)$

有关向量的加法交换律等性质这里就不介绍，我们重点是介绍一些和机器学习相关的特征。

向量间的线性关系

向量的线性关系就是用一组向量通过线性组合得到一个新的向量。
$\beta = k_1 \alpha_1 + k_2 \alpha_2 + \cdots + k_m \alpha_m$

零向量可由任意向量组来表示
向量组中任意一个向量，可由向量组表示
$\alpha_2 = 0 \times \alpha_1 + 1 \times \alpha_2 + 0 \times \alpha_3$
任意一个向量都可以用 n 维单位向量组来表示
$\left( \begin{matrix} 1 \\ 2 \\ 3 \end{matrix} \right) = 1 \times \left( \begin{matrix} 1 \\ 0 \\ 0 \end{matrix} \right) + 2 \times \left( \begin{matrix} 0 \\ 1 \\ 0 \end{matrix} \right) + 3 \times \left( \begin{matrix} 0 \\ 0 \\ 1 \end{matrix} \right)$

线性组合转换方程组有解

$\left( \begin{matrix} 1 \\ 1 \\ 1 \end{matrix} \right) = k_1 \times \left( \begin{matrix} 1 \\ 0 \\ 0 \end{matrix} \right) + k_2 \times \left( \begin{matrix} 0 \\ 1 \\ 0 \end{matrix} \right) + k_3 \times \left( \begin{matrix} -1 \\ 1 \\ 1 \end{matrix} \right)$

向量组的等价
非零子式的最高阶
$\alpha_1 \cdots \alpha_m$ 和 $\beta_1 \cdots \beta_m$ 同维，就是 $\alpha$ 和 $\beta$ 两个向量组和相互线性表示。表示为
$\{ \alpha_1 \cdots \alpha_m\} \cong \{\beta_1 \cdots \beta_m\}$

反射性 $\{ \alpha_1 \cdots \alpha_m\} \cong \{\beta_1 \cdots \beta_m\}$
对称性 $\{ \alpha_1 \cdots \alpha_m\} \cong \{\beta_1 \cdots \beta_m\} \Rightarrow \{\beta_1 \cdots \beta_m\} \cong \{ \alpha_1 \cdots \alpha_m\}$
传递性 $\{ \alpha_1 \cdots \alpha_m\} \cong \{\beta_1 \cdots \beta_m\} \,\{ \alpha_1 \cdots \alpha_m\} \cong \{\gamma_1 \cdots \gamma_m\} \Rightarrow \{\beta_1 \cdots \beta_m\} \cong \{ \gamma_1 \cdots \gamma_m\}$

线性相关和线性无关

线性相关

$\alpha_1 \cdots \alpha_n$ 是 n 个 m 维向量，若存在一组不全为 0 的 $k_1 \cdots k_n$ 系数，让下面表达式成立，只要找到一组这样系数就可以，那么也就是意味着找到多组也可以

$k_1 \alpha_1 + k_2 \alpha_2 + \cdots + k_n \alpha_n = 0$
就叫 $\alpha_1 \cdots \alpha_n$ 是线性相关。

例

$2 \times \left( \begin{matrix} 1 \\ 0 \end{matrix} \right) + 3 \times \left( \begin{matrix} 0 \\ 1 \end{matrix} \right) -1 \times \left( \begin{matrix} 2 \\ 3 \end{matrix} \right) = 0$

线性无关

不是线性就是线性无关，也就是找不一组不全为 0 的的 $k_1 \cdots k_n$ 系数让
$k_1 \alpha_1 + k_2 \alpha_2 + \cdots + k_n \alpha_n = 0$
成立。

线性相关的特性

向量组两向量成比例，线性相关
这应该不难理解，成比例两个向量可以通过调整系数得到 0 其余的系数给 0 即可

例

$-1 \times \left( \begin{matrix} 1 \\ 3 \end{matrix} \right) + \frac{1}{2} \times \left( \begin{matrix} 2 \\ 6 \end{matrix} \right) + 0 \times \left( \begin{matrix} 2 \\ 3 \end{matrix} \right) = 0$

含零向量的任意向量组必线性相关
一个零向量必线性相关
一个任意非零向量必线性无关

这里性质只要简单了解，有关这些性质证明这里就不介绍了，只要记住这些结论就可以。

一个向量相关充要条件是该向量是零向量
若 $\alpha_1,\cdots,\alpha_r$ 线性相关那么 $\alpha_1,\cdots,\alpha_r,\alpha_{r+1} + \alpha_s$ 线性相关
线性无关的向量组，追加维度向量组也线性无关，线性相关的向量组，截短后向量组也相关
n 个 n 维向量，向量个数等于向量维数， $D\neq 0$

线性相关就是就是两个向量之间存在一定比例关系，在机器学习分类问题就是

线性无关

$\alpha_1 \cdots \alpha_m$ 线性相关的充要条件至少有一个向量可由其余向量来线性表示

向量组的秩

极大线性无关组

$\left( \begin{matrix} 1 \\ 0 \end{matrix} \right) \left( \begin{matrix} 2 \\ 0 \end{matrix} \right) \left( \begin{matrix} 1 \\ 5 \end{matrix} \right) \left( \begin{matrix} 2 \\ 10 \end{matrix} \right)$
其中两两向量比例，尽可能少保留，且保留更多信息。
$\alpha_1,\alpha_2,\alpha_3,\alpha_4,\alpha_5$ 的中

$\alpha_1,\alpha_2$ 是线性无关
每一个向量均可以用 $\alpha_1,\alpha_2$ 表示
那么 $\alpha_1,\alpha_2$ 就是向量组就是极大无关组，有两层含义
线性无关
极大，找线性无关向量组的向量个数最大

$\alpha_1,\alpha_2$ 线性无关
任意一个r+1 个向量组都是线性相关

线性无关组不是唯一， $\left( \begin{matrix} 1 \\ 0 \end{matrix} \right) \left( \begin{matrix} 1 \\ 5 \end{matrix} \right)$ 和 $\left( \begin{matrix} 2\\ 0 \end{matrix} \right) \left( \begin{matrix} 2 \\ 10 \end{matrix} \right)$

任意两个向量无关组的向量的个数一致的。

向量随笔

向量

向量间的线性关系

线性相关和线性无关

线性相关

例

线性无关

线性相关的特性

例

线性无关

向量组的秩

极大线性无关组

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读