LDA理论

• 假设我们有m维样例
• 我们寻求一个标量y通过映射样本集x到一条线上
• maximize样本类型分开的line

• 各个类型的点求他们的“均值点”
• 比如有A类型的 （1,2,3）（3,4,5） 那么μ=(2,3,4)
• 我们参考他们均值点投影之后的距离

• 只考虑之前J(ω)不行

• 样本点均匀分布在椭圆里，投影到横轴x1上时能够获得更大的中心点间距J(ω)，但是由于有重叠，x1不能分离样本点。投影到纵轴x2上，虽然J(ω)较小，但是能够分离样本点。因此我们还需要考虑样本点之间的方差，方差越大，样本点越难以分离。

  
  
• 我们使用另外一个度量值，称作散列值（scatter），对投影后的类求散列值

• 不同类别的样本点越分开越好，同类的越聚集越好，也就是均值差越大越好，散列值越小越好。正好，我们可以使用J(w)和S来度量

  
  
  
• 
• 定义中间部分，就是去掉ω的转置
• 这个式子其实就是某种意义的方差，协方差

LDA实例