深度学习(花书)

第一部分 应用数学及机器学习基础

第二章 线性代数

标量：一个单独的数
向量：一列有顺序可索引的数
矩阵：有序可索引的二维数组
张量：超过二维的数组

标量可视为仅有一个元素的矩阵
向量可视为仅有一列元素的矩阵

广播：矩阵与向量的相加，每一列均相加
矩阵相乘：C = AB
元素对应乘积(hadamard乘积)：C = A ⊙ B
向量点积：两相同维数列向量相乘可视为一向量的转置与另一向量的相乘

范数：用于衡量向量的大小
范数的表示形式

范数为欧几里得范数 为常用范数 常略去下标2
平方范数也是常用范数 其表示为的形式
范数常用于计数非零项的数目
范数为最大幅值项的绝对值

对角矩阵：常用diag(v)表示，v为对角线元素的向量
对角矩阵的乘法易于运算，diag(v) * x = v ⊙ x

特征分解：
奇异值分解：

主成分分析旨在解决存在大量相关变量的问题，意图通过少数不相关变量进行代替

主成分分析法是一种降维的统计方法，它借助于一个正交变换，将其分量相关的原随机向量转化成其分量不相关的新随机向量，这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的p 个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统，再通过构造适当的价值函数，进一步把低维系统转化成一维系统。