线性模型 (Linear Model) :

原理

《机器学习》周志华

3.1 线性回归

• 最小均方误差(square loss) - 即是 最小二乘的参数估计
• 当变量数据超过样本数据时（解线性方法时变量过多，会出现多组解），选择哪一个解作为输出将由学习算法的归纳偏好决定，常见的做法是引入正则化 (regularization)项。

3.2 对数几率回归(logistic regression)

• 分类：只需要找到一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来。
• Sigmoid函数

3.3 线性判别分析(Linear Discriminant Analysis, LDA)

• LDA基本思想： 给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离；在对新样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别。

3.4 类别不平衡问题

• 再缩放(rescaling)：“训练集是真实样本的无偏采样”这个假设往往不成立，也就是说，我们未必能有效地基于训练集观测几率推断出真实几率。
• 解决方法：
  • 欠采样(undersampling)：EasyEnsemble算法
  • 过采样(oversampling)：SMOTE算法
  • 阈值移动(threashold-moving)

Hello Word

• TensorFlow Linear Model Tutorial
• Hello_AI

学术

工程