向量随笔

作者: zidea | 来源:发表于2020-08-04 20:29 被阅读0次

向量随笔
支持向量机随笔
推荐系统学习笔记
向量空间相关概念总结-向量空间
OpenGL之3D数学
3D数学基础及图形开发(二)向量
OpenGL-向量 & 矩阵
Day5--学习笔记--smartyy
R语言向量计算的数学函数汇总2021.1.21
OpenGL -- 向量与矩阵

linearalgebra.png

向量

我们在机器学习中大量地使用到了向量，利用向量来描述我们熟知物体，通过的线性变换来实现模型。那么我们为什么需要向量，向量那些特征满足我们可以用向量来描述世界呢，这是本次要讨论。

可以将向量理解维 n 维空间中一个点，从 n 维空间的原点引出一条线到该点就是一个向量。用向量来表示我们生活现实世界中物体。这个解释一下，我们通常用一些关键词来描述一个物体，例如我们介绍一个人，会介绍他的性别、年龄、身高和体重。每一个特征都是在一定取值范围中一个数据，这些特征组合在一起就能描述出一个人，而且通过这些特征我们可以定位到这个人，或者这个人属于某一类人群。想一想这不就是机器学习中分类问题。在机器学习中我们输入一个向量，然后通过线性变换后得到一个便于分类的向量。

行向量和列向量，表示如下所谓行向量和列向量只是表示方式不同，可以通过变换在行向量和列向量间变换
$\left( \begin{matrix} 1 & 2 & 3 \end{matrix} \right)$

$\left( \begin{matrix} 1 \\ 2 \\ 3 \end{matrix} \right)$

有关向量的加法交换律等性质这里就不介绍，我们重点是介绍一些和机器学习相关的特征。

向量间的线性关系

向量的线性关系就是用一组向量通过线性组合得到一个新的向量。
$\beta = k_1 \alpha_1 + k_2 \alpha_2 + \cdots + k_m \alpha_m$

零向量可由任意向量组来表示
向量组中任意一个向量，可由向量组表示
$\alpha_2 = 0 \times \alpha_1 + 1 \times \alpha_2 + 0 \times \alpha_3$
任意一个向量都可以用 n 维单位向量组来表示
$\left( \begin{matrix} 1 \\ 2 \\ 3 \end{matrix} \right) = 1 \times \left( \begin{matrix} 1 \\ 0 \\ 0 \end{matrix} \right) + 2 \times \left( \begin{matrix} 0 \\ 1 \\ 0 \end{matrix} \right) + 3 \times \left( \begin{matrix} 0 \\ 0 \\ 1 \end{matrix} \right)$

线性组合转换方程组有解

$\left( \begin{matrix} 1 \\ 1 \\ 1 \end{matrix} \right) = k_1 \times \left( \begin{matrix} 1 \\ 0 \\ 0 \end{matrix} \right) + k_2 \times \left( \begin{matrix} 0 \\ 1 \\ 0 \end{matrix} \right) + k_3 \times \left( \begin{matrix} -1 \\ 1 \\ 1 \end{matrix} \right)$

向量组的等价
非零子式的最高阶
$\alpha_1 \cdots \alpha_m$ 和 $\beta_1 \cdots \beta_m$ 同维，就是 $\alpha$ 和 $\beta$ 两个向量组和相互线性表示。表示为
$\{ \alpha_1 \cdots \alpha_m\} \cong \{\beta_1 \cdots \beta_m\}$

反射性 $\{ \alpha_1 \cdots \alpha_m\} \cong \{\beta_1 \cdots \beta_m\}$
对称性 $\{ \alpha_1 \cdots \alpha_m\} \cong \{\beta_1 \cdots \beta_m\} \Rightarrow \{\beta_1 \cdots \beta_m\} \cong \{ \alpha_1 \cdots \alpha_m\}$
传递性 $\{ \alpha_1 \cdots \alpha_m\} \cong \{\beta_1 \cdots \beta_m\} \,\{ \alpha_1 \cdots \alpha_m\} \cong \{\gamma_1 \cdots \gamma_m\} \Rightarrow \{\beta_1 \cdots \beta_m\} \cong \{ \gamma_1 \cdots \gamma_m\}$

线性相关和线性无关

线性相关

$\alpha_1 \cdots \alpha_n$ 是 n 个 m 维向量，若存在一组不全为 0 的 $k_1 \cdots k_n$ 系数，让下面表达式成立，只要找到一组这样系数就可以，那么也就是意味着找到多组也可以

$k_1 \alpha_1 + k_2 \alpha_2 + \cdots + k_n \alpha_n = 0$
就叫 $\alpha_1 \cdots \alpha_n$ 是线性相关。

例

$2 \times \left( \begin{matrix} 1 \\ 0 \end{matrix} \right) + 3 \times \left( \begin{matrix} 0 \\ 1 \end{matrix} \right) -1 \times \left( \begin{matrix} 2 \\ 3 \end{matrix} \right) = 0$

线性无关

不是线性就是线性无关，也就是找不一组不全为 0 的的 $k_1 \cdots k_n$ 系数让
$k_1 \alpha_1 + k_2 \alpha_2 + \cdots + k_n \alpha_n = 0$
成立。

线性相关的特性

向量组两向量成比例，线性相关
这应该不难理解，成比例两个向量可以通过调整系数得到 0 其余的系数给 0 即可

例

$-1 \times \left( \begin{matrix} 1 \\ 3 \end{matrix} \right) + \frac{1}{2} \times \left( \begin{matrix} 2 \\ 6 \end{matrix} \right) + 0 \times \left( \begin{matrix} 2 \\ 3 \end{matrix} \right) = 0$

含零向量的任意向量组必线性相关
一个零向量必线性相关
一个任意非零向量必线性无关

这里性质只要简单了解，有关这些性质证明这里就不介绍了，只要记住这些结论就可以。

一个向量相关充要条件是该向量是零向量
若 $\alpha_1,\cdots,\alpha_r$ 线性相关那么 $\alpha_1,\cdots,\alpha_r,\alpha_{r+1} + \alpha_s$ 线性相关
线性无关的向量组，追加维度向量组也线性无关，线性相关的向量组，截短后向量组也相关
n 个 n 维向量，向量个数等于向量维数， $D\neq 0$

线性相关就是就是两个向量之间存在一定比例关系，在机器学习分类问题就是

线性无关

$\alpha_1 \cdots \alpha_m$ 线性相关的充要条件至少有一个向量可由其余向量来线性表示

向量组的秩

极大线性无关组

$\left( \begin{matrix} 1 \\ 0 \end{matrix} \right) \left( \begin{matrix} 2 \\ 0 \end{matrix} \right) \left( \begin{matrix} 1 \\ 5 \end{matrix} \right) \left( \begin{matrix} 2 \\ 10 \end{matrix} \right)$
其中两两向量比例，尽可能少保留，且保留更多信息。
$\alpha_1,\alpha_2,\alpha_3,\alpha_4,\alpha_5$ 的中

$\alpha_1,\alpha_2$ 是线性无关
每一个向量均可以用 $\alpha_1,\alpha_2$ 表示
那么 $\alpha_1,\alpha_2$ 就是向量组就是极大无关组，有两层含义
线性无关
极大，找线性无关向量组的向量个数最大

$\alpha_1,\alpha_2$ 线性无关
任意一个r+1 个向量组都是线性相关

线性无关组不是唯一， $\left( \begin{matrix} 1 \\ 0 \end{matrix} \right) \left( \begin{matrix} 1 \\ 5 \end{matrix} \right)$ 和 $\left( \begin{matrix} 2\\ 0 \end{matrix} \right) \left( \begin{matrix} 2 \\ 10 \end{matrix} \right)$

任意两个向量无关组的向量的个数一致的。

向量随笔
向量我们在机器学习中大量地使用到了向量，利用向量来描述我们熟知物体，通过的线性变换来实现模型。那么我们为什么需要...
支持向量机随笔
(1)为什么是1/||W||: 这个得先看约束函数，yi(wT*xi+b)>=1,按比例规定最小函数距离等于1，其...
推荐系统学习笔记
随笔：将学习中有疑惑的点记录一下 1.关于embedding的理解： embedding其实是对特征的向量表达形式...
向量空间相关概念总结-向量空间
什么是向量空间特点：① 包含向量比如向量组，而且向量组内部的向量维数相同② 包含向量的运动向量的加法->生成新的...
OpenGL之3D数学
向量向量是既有大小又有方向的量。零向量与单位向量模等于0的向量为零向量，模等于1的向量叫做单位向量。注意零向...
3D数学基础及图形开发(二)向量
向量向量的基本知识行向量与列向量向量分为1维，2维，3维，甚至多维向量，1维的向量是标量。零向量是唯一一个...
OpenGL-向量 & 矩阵
1.向量 1.1 向量的写法向量又分为横向量与列向量,横向力与列向量的写法如下图: 1.2 负向量表达式: 如上...
Day5--学习笔记--smartyy
1.向量向量分为：字符型向量，逻辑型向量，数字型向量向量中所有的元素都必须是同一属性向量的创建函数：c()是创...
R语言向量计算的数学函数汇总2021.1.21
一、向量函数 1.数学函数 sum(向量名）：求和 max(向量名）：返回向量最大值 min(向量名）：返回向量最...
OpenGL -- 向量与矩阵
向量单位向量长度为1的向量，向量长度通过下列公式计算向量点乘点乘只能在两个向量之间进行两个单位向量进行...