基本形式

线性回归

均方差：欧式距离

*这个值是在J最小情况下的参数取值，在吴恩达的视频教学中，就是，在课后题中有涉及怎样实现单变量的线型回归和多元的线型回归，可以使用梯度下降或者直接使用此公式就能取得较好的预测效果

*满秩矩阵就是R(A) =矩阵的阶数，确保各样本特征都有值，方程能够解，奇异阵就是秩不等于阶数的矩阵，样本属性多于样本个数

后面还将讨论在样本特征缺失情况下的线型回归情况。

*正定矩阵就是特征值全部为正数的矩阵（线型代数137页）

（python sklearn库）reg = linear_model.LinearRegression()

对数几率回归

对数几率回归解决的是二分类的问题

使用极大似然法，在吴恩达讲课中，提到推到方法比较复杂，只需要掌握推到出来的结果即可，在3.26式中，可以分别代入y=1，y=0测试，与3.23和3.24公式一致，目标就是使3.26式最大化

上式推导过程：

使用牛顿法逐次更新：

*在吴恩达的视频中使用的是cost函数：

同样也是极大似然法得出，这个函数和上面的函数都是凸函数，以下是使用梯度下降的方法进行计算的

上面这个中和线型回归的是一致的，只不过h(.)函数不一样。特征缩放同样适用于逻辑回归算法

（python sklearn库中） lr_model = LogisticRegression()

线性判别分析（LDA）

利用的是投影，其中

协方差：多维变量，E[(样本值属性1-1均值)（样本属性2-2的均值）……]

E是数学期望，协方差 cov(样本属性1，样本属性2)

||W||表示n维向量的范数，就是长度，线性代数115页，也是

在这里延伸一下，向量的内积

二范数就相当于求距离，这是必须的，平均为了方便求导，当然这里不平方也行，习惯性把平方也加上，距离平方大的距离肯定也大

广义瑞利商

拉格朗日乘子法是在约束条件下求最优化问题的方法。

变换成方程，而后通过导数，求最优解，

矩阵求导

涉及到矩阵求导的问题，以上是求导公式可以直接用，不用纠结

矩阵奇异值有一篇描述：奇异值分解(SVD)详解及其应用

（奇异值与特征值类似，是用来解决非方阵的降维的问题和化简的问题）

前几天因为工作忙一直没来得及写

多分类学习

西瓜书截图

吴恩达作业中运用逻辑回归对手写字体识别数据集进行处理，是典型的多分类问题，通过参数矩阵进行计算，其实原理上还是一样，通过特征训练参数，在对应位置上生成概率较大的数值，确定这个手写数字是哪一个，这是一种处理形式。西瓜书中讲解的是编码形式

西瓜书截图

（备注：海明距离就是看其中有多少编码不对应）

本章最后讲解了最小二乘法：最小化误差的平方和寻找数据的最佳函数匹配，在这一章中充分运用。

第三章的思维导图    不错！