线性模型

基本形式：

  一般形式：
  向量形式：

线性回归：

最小二乘法:

  最小二乘法就是试图找到一条直线，使所有样本到直线的欧式距离只和最小，求解和使

        

最小化过程，称为线性回归模型的最小二乘"参数估计"。将分别对和求导

  

  

分别令其为零可得到和最优解的闭试解，其中为的均值。

  

  

（PS：多元线性回归暂略，以后补上）

对数线性回归：

  首先线性模型逼近的是，亦可以使起逼近的衍生物。
将输出标记的对数作为线性模型逼近目标，即
        
这就是“对数线性回归”（其实己经不再是线性的了）。

对数几率回归：

  于二分类问题中，输出，而线性回归模型产生的预测值是实值，我们需要将转化为 0 或 1 的值，也就是说若则，将被划分到一类中，反之亦然。
我们需要函数
      
最理想的是“单位跃界函数”。
      
即若预测值大于零就判为正例，小于零就判为反例，临界值零则可任意判别。
由于单位跃界不连续，而我们需要它单调可微。对数几率函数作为替代函数：

      
    
若将视为样本作为正例的可能性，则是反例的可能性，两者比值称为“几率”，反映了正例的相对可能性，对几率取对数则得到了“对数几率”，对应的模型称为“对数几率回归模型”（PS：是一种分类学习方法）
  接下来的问题就是如何确定和。将视为后验概率估计则
      

      
      

通过“极大似然法”来估计和使每个样本属于其真实标记的概率越大越好。对概率回归模型最大化“对数似然”
      

    

其中
代入对数似然中
    

中取值为,故等价于

则
即最小化

可用梯度下降法、牛顿法等可求的最优解。

线性判别分析（LDA）：

LDA思想：

  线性判别分析（Linear Discriminant Analysis，LDA）是一种经典的线性学习方法，在二分类问题上因为最早由Fisher提出，亦称“ Fisher判别分析”。
  给定训练集，设法将样例投影到一条直线上，使得同样样例的投影点尽可能近、异类样例的投影点尽可能远；在对新样本进行分类的时候，将其投影到同样的这条直线上，再根据投影点位置来确定新样本的类别。

LDA算法：

数据集：，
令、、分别表示第类示例的集合、均值向量、协方差矩阵。
  
  
由于是两类数据，因此我们只需要将数据投影到一条直线上即可。假设投影直线向量，则对任意的一个样本，它在直线的投影为，对于我们的两个类别的中心点，，在直线的投影为，。由于LDA需要让不同类别的数据类别中心之间的距离尽可能的大，也就是我们需要最大化，同时我们希望同一种类别数据的投影点尽可能的接近，也就是同样的样本投影点的协方差和尽可能的小，即最小化。
综上所诉，我们的优化目标为：
  arg max
定义类内散度矩阵为：
  
定义类间散度矩阵为：
  
优化目标重写为：
  arg max
通过广义瑞利熵，得知最大值为矩阵的最大特征值，而的特征值和的特征值相同，的特征向量和的特征向量满足：
  。
对于二分类问题，的方向恒为，令，将其带入，可以得出，也就是说我们只要求出原始二分类样本的均值和方差就可以确定最佳的投影方向了。