https://blog.csdn.net/qq_27567859/article/details/79666969
摘要训练和评估：
- 训练：
对于线性回归来说，训练的过程是不断对参数w,b优化，使得误差最小的过程
进行模型训练之前，要确定合适的算法，比如线性回归、决策树、随机森林、逻辑回归、梯度提升、SVM等等。选择算法的时候最佳方法是测试各种不同的算法，然后通过交叉验证选择最好的一个。但是，如果只是为问题寻找一个“足够好”的算法，或者一个起点，也是有一些还不错的一般准则的，比如如果训练集很小，那么高偏差/低方差分类器（如朴素贝叶斯分类器）要优于低偏差/高方差分类器（如k近邻分类器），因为后者容易过拟合。然而，随着训练集的增大，低偏差/高方差分类器将开始胜出（它们具有较低的渐近误差），因为高偏差分类器不足以提供准确的模型。 -
评估：
用代价函数(cost function)来对模型的优劣打分。
训练完成之后，通过拆分出来的测试数据来对模型进行评估，通过真实数据和预测数据进行对比，来判定模型的好坏。模型评估的常见的五个方法：混淆矩阵、提升图&洛伦兹图、基尼系数、ks曲线、roc曲线。混淆矩阵不能作为评估模型的唯一标准，混淆矩阵是算模型其他指标的基础。
完成评估后，如果想进一步改善训练，我们可以通过调整模型的参数来实现，然后重复训练和评估的过程。
3、优化
如果用代价函数评估出来的模型比较差，用梯度下降来对模型进行优化
评估完如何调整模型的参数，可以使用梯度下降
4、一个例子：
房屋面积和价格数据集（假设还有其他的特征，比如说房屋朝阳、楼层等）：
这个数据集适合用线性回归来计算：
X1是房屋面积、X2是房屋朝向等，房屋的预测价格是Y
最开始会初始化参数w、b
然后带入公式得出预测的y值，预测值和真实值存在一定误差，误差越小w，b越优，模型越好
4.1误差
用代价函数cost function来表示误差（或者说模型的优劣）
如果一条线远离所有的点，残差则会很大，因此代价函数的值也很大。如果一条线接近所有的点，则残差会很小，则代价函数也如此。
代价函数是在给定参数w,b的情况下，衡量预测值y与目标值y
的接近程度。也就是说，衡量一组特定参数对预测目标值的好坏程度。
线性回归的代价函数是均方误差(mean squared error)：
4.2 优化误差，使误差最小
用梯度下降(Gradient Descent)来优化
比如，测试集的数据x,通过模型预测得到预测y,测试集的真实y与预测y的误差比较大,那么用梯度下降来优化，通过梯度下降的迭代次数和步长，在得出一组参数w,b,带入到模型，求误差的大小
每组权重向量w,b的值都会有对应的代价（也就是对应的误差），
。我们要找到代价最小的权值（也就是最小误差对应的w,b）。图形化如下：
给定一个线性回归模型和代价函数，我们可以用梯度下降(Gradient Descent)方法来寻找最佳的一组权重向量值。这个寻找最佳模型的过程就叫做优化(optimaization)。
网友评论