回归（Regression）

回归（Linear Regression）

一、基础

1.模型，（构建的模型可）用来描述现实中的问题或数据，即现实中的问题或数据的一种量化方式（数学化统计化），目的是通过模型更好地解决现实中的问题或发现数据的规律；

模型选择或建立后，用训练数据求模型中的参数Θ；怎么求？

通过构造目标函数（即代价函数），并求使目标函数的数值最小时，参数Θ的值（部分构造

目标函数的过程可用极大似然估计来构造或解释）；

运用某些算法，如梯度下降算法，正规方程等，求出参数Θ的值；

若存在超参数，则需要于验证数据进行人工调参，也有某些算法进行调参，如枚举法、遗传法等；

最后通过测试数据来评价模型的优劣；

应用于实际问题。

2.机器学习的数据分为：

训练数据集、验证数据集、测试数据集；

二、线性回归（Linear Regression）

1.线性回归：解决预测问题、标签（Y）为连续值；

2.模型表示：XXX

模型选择：

通过可视化观察数据的特征；

直接通过内在逻辑选择合适的模型；

3.目标函数（代价函数）：XXX

4.求参数Θ的取值，使目标函数最小的算法：

（1）梯度下降算法：

可求局部最小值，当目标函数为凸函数时可得全局最小值；

存在超参数：α；

（2）正规方程：矩阵需可逆；

（3）其他算法；

三、逻辑回归（Logistic Regression）

1.逻辑回归：解决分类问题、标签（Y）为离散值；

2.模型表示：XXX

3.目标函数（代价函数）：XXX

4.求参数Θ的取值，使目标函数最小的算法：

（1）梯度下降算法；

（2）其他算法：

Conjugate gradient 共轭梯度法

BFGS 变尺度法

L-BFGS 限制变尺度法

等等；

5.多分类问题：

（1）一对余方法，构建多个分类器；

（2）Softmax回归；

四、正则化

1.模型常见问题

欠拟合：高偏差；

过拟合：高方差；

于模型精度和泛化能力两者之间权衡；

2.正则化技术：

目的：防止过拟合，减小参数Θ的值；

方法：通过修改目标函数：XXX

（1）Ridge回归、L2-Norm：

超参数：λ；平方和；

一般地，性能优于Lasso回归，但Lasso回归有特征选择功能；

（2）Lasso回归、L1-Norm：

超参数：λ；绝对值加和；

有特征选择功能、起到降维作用；

（3）Elastic Net；

两者综合；超参数：λ、ρ；

五、模型的评价指标：

1.MSE（均方误差）；

2.R的平方（拟合优度）；

3.AUC、ROC；

4.其他；

六、特征的选择和处理

1.特征缩放、特征归一化；

2.降维：PCA技术（主成分分析）等；

3.数据预处理；

4.其他；

七、关于梯度下降算法

1.BGD：批量梯队下降算法；

2.SGD：随机梯度下降算法；

3.Mini-batch SGD：小批量随机梯度下降算法；

4.超参数：α（学习率）；

八、实践

1.广告通过不同渠道的投放所产生的效果的预测（广告不同渠道的花费与销售额的关系）；

预测问题：线性回归模型；

正则化技术的比较；

2.鸢尾花的分类；

分类问题：逻辑回归模型；

3.波士顿的房价的预测；

预测问题：线性回归模型；

4.航空公司某航班乘客的人数预测；

预测问题：线性回归模型：时间相关：时间序列模型：自回归模型：ARIMA模型；

自回归模型也应用于：股价预测；

5.ROC与AUC（模型评价指标）

（1）ROC、AUC的基础；

（2）各模型于鸢尾花分类问题上的：ROC与AUC；

九、问题：

1.实践中的代码细节；

2.理论知识体系：参考周志华的《机器学习》；

3.其他；