2018-12-12

day03

机器学习的过程： 以模型为驱动， 1、经典算法：线性回归，逻辑回归，决策树，支持向量机，条件随机场，K-mean 2.过程： 以实验数据为基础训练模型，然后以优化后的模型处理新的事物 3.数学基础： 导数、微分：导数/导函数是名词（一个东西），可导/可微是形容词（一种属性），求导/微分是动词（做一件事） 偏微分： 偏增量：f（x+dx，y）-f（x，y）或者 f（x，y+dy）-f（x，y） 全增量：f(x+dx,y+dy)-f(x,y)的值为点（x，y）的全增量 偏导数：只有一个变量变化，其余变量不变，关于这个变量的导数，为偏导数（y与x无关） 全导数：相对于偏导数允许其他的变量变化，（y与x有关） 偏微分：分别对x，y微分， fx`(x,y)dx和fy`(x,y)dy 全微分：dz 偏微分与全微分的关系：dz = fx`(x,y)dx+fy`(x,y)dy 4、矩阵： 向量的点积： 向量的线相关： ax+by+cZ = 0 则x,y,z向量线相关 线性函数: f(x+y) = f(x) + f(y) f(ax) = af(x) 矩阵的加法： （a+-b）= (a)I,j+-(b)I,j 数乘： (cA) = cAi,j 转置：将ai,j转化为aj,I 标记为aT (a`) （AT）= Aj,i 乘法： (AB)T = BTAT 4.1 矩阵与线性变换的关系 以R^n表示所有长度为n的行向量的集合。每个m×n的矩阵A都代表了一个从R^n射到R^m的线性变换。 也就是说，对每个线性变换f: R^n -> R^m，都存在唯一m×n矩阵A使得对所有R^n中的元素x，f(x) = Ax。（类似于矩阵的乘法） 4.2 矩阵的秩 用初等行变换将矩阵A化为阶梯形矩阵, 则矩阵中非零行的个数就定义为这个矩阵的秩。 【列秩】：一个矩阵A的列秩是A的线性独立的纵列的最大数目。 【行秩】：一个矩阵A的行秩是A的线性独立的横行的最大数目。 行秩和列秩的关系：矩阵的列秩和行秩总是相等的。因此它们可以简单地称作矩阵A的秩。通常表示为r(A)，rk(A)或rank A。 满秩矩阵：若矩阵秩等于行数，称为行满秩；若矩阵秩等于列数，称为列满秩。既是行满秩又是列满秩则为n阶矩阵即n阶方阵 【子式】：设A为一个 m×n 的矩阵，k为一个介于1和m之间的整数，并且k≤n。A的一个k阶子式是在A中选取k行k列之后所产生的k2个交点组成的方块矩阵的行列式。 【余子式】：A的一个k阶余子式是A去掉了k行与k列之后得到的(m-k)×(n-k)矩阵的行列式。 NOTE: 在m=/=n的情况下，这样的行列式如何计算是没有定义的，仅仅在概念上存在。 主子式：以mXn矩阵左上角开头的方阵 余子式： 原方阵去掉主子式所在的行和列后 剩余的部分为Mij 【余子矩阵】: n阶方阵A的余子矩阵是指将A的(i, j)代数余子式摆在第i行第j列所得到的矩阵，记为C。 Cij = (−1)^(i + j) Mij 【伴随矩阵】：上述余子矩阵C的转置矩阵，称为n阶方阵A的伴随矩阵。记作A*。 【逆矩阵】：给定一个n阶方阵A，若存在一n 阶方阵B， 使得AB=BA=I，其中I 为n 阶单位矩阵，则称A 是可逆的，且B 是A 的逆阵，记作 A^(-1)。 【可逆矩阵】：若n 阶方阵A 的逆阵存在，则称A 为非奇异方阵或可逆方阵。 可逆和满秩的关系：对n阶方阵而言，满秩等价于可逆。 可逆和伴随的关系：如果n阶方阵A可逆，那么它的逆矩阵和它的伴随矩阵之间只差一个系数。 然而，伴随矩阵对不可逆的矩阵也有定义，并且不需要用到除法。 【奇异方阵】：若方块矩阵A满足条件|A|=0，则称A为奇异方阵，否则称为非奇异方阵。 可逆和非奇异方阵的关系：对于n阶方阵而言，非奇异等价于可逆矩阵。 【对称矩阵】：对称矩阵是一个n阶方阵，其转置矩阵和自身相等 【对角矩阵】: 是一个主对角线之外的元素皆为0的n阶方阵。对角线上的元素可以为0或其他值。 对角与对称的关系：对角矩阵都是对称矩阵。 【可对角化】：如果一个方块矩阵 A 相似于对角矩阵，也就是说，如果存在一个可逆矩阵 P 使得 P −1AP 是对角矩阵，则它就被称为可对角化的。 … Python 的numpy库