第八章 模型的质量和评判指标

衡量模型质量

什么样的模型算质量高？ 预测准确率高的模型，准确率达到什么程度算高，需要衡量指标。

怎么知道准确率高低呢？ 测试

衡量准确率的指标有哪些

Precision、Recall 和 F1Score

f7aa13e0-4139-11e8-9d35-17c301868657.jpeg

Precision（准确率）

Precision=TP/（TP+FP），即在所有被预测为 Class_A 的测试数据中，预测正确的比率

Recall（召回率）

Recall=TP/（TP+FN），即在所有实际为 Class_A 的测试数据中，预测正确的比率。

F1Score = 2*(Precision * Recall)/(Precision + Recall)

欠拟合（Underfitting）和过拟合 （Overfitting）

一个模型在其训练集上的预测结果不佳的情况叫做欠拟合，（好比做过的题都不会）

模型在其训练集上的预测结果特别好，测试集上却很差的情况叫过拟合（只会做过的题）。

模型训练的目的是从数据中提取普遍规律，欠拟合是提取不足，过拟合是提取过头了，把一些测试数据固有的规律判别为普遍过滤。

欠拟合多数情况下是因为选定模型类型太过简单，特征选取不够导致的。而过拟合则相反，可能是模型太过复杂，特征选择不当（过多或组合不当）造成的。