机器学习入门 | 必知必会的基础理论

作者: python与数据分析 | 来源:发表于2023-03-20 13:30 被阅读0次

文章大纲

一、什么是机器学习、数据挖掘？

1、AI是什么？

AI（人工智能）是研究开发用于模拟、延伸和扩展人的智能理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支。
AI的应用场景：必备基础 "机器学习"

机器学习的应用场景

2、机器学习是什么？

机器学习就是让机器有学习的能力，让机器通过"某种策略", 学习"历史数据"后，能够进行一定"预测"和"识别"的能力。

3、数据挖掘是什么？

数据挖掘是指从大量数据中通过算法搜索隐藏于其中信息的过程。机器学习是支撑数据挖掘的手段。从关系上看，数据挖掘包括机器学习。

4、为什么需要数据挖掘？

面临复杂且大量的新数据集时，传统数据分析计算常常遇到瓶颈，我们将常见瓶颈进行抽象。
1、高维性数据：随着5G及物联网的建设，数据量将会呈指数级的增长，常常遇到成百上千属性的维度，可想象，计算复杂度将迅速增加。
2、非结构化数据：非结构化数据也包含许多含金量的信息，例如视频、音频、文本等等，这些都是传统数据分析方法无法获取的信息。
3、自动及智能问题。传统分析方法常规流程就是"提出假设-验证假设"，但这一过程劳力费神。当前的数据分析任务常常需要产生和评估数千种假设，因此需要自动、智能的手段。

注：数据挖掘非万能法则，数据分析也非所想的不堪，两者的结合应用才能更好的为业务赋能。事实上，数据挖掘是需要数据分析进行辅助的，比如数据探索，特征工程。

二、机器学习所需要的基础理论

让机器通过"某种策略", 学习"历史数据"后，能够进行一定"预测"和"识别"的能力

1、某种策略（模型）、损失、模型训练和标签

1）模型是什么？以"一元线性回归"为例

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号

df1 = pd.DataFrame({'用户人数':[100,200,300,400,500],'销售额(元)':[1000,2000,3000,4000,5000]})
df1.plot(x='用户人数',y='销售额(元)')

from sklearn.linear_model import LinearRegression
x = df1['用户人数'].values.reshape(-1,1)
y = df1['销售额(元)']
lr = LinearRegression()
lr.fit(x,y)

# 模型的斜率
lr.coef_

lr.predict(np.array([600]).reshape(-1,1))

假设用户人数为600，那销量是 6000 ，这是模型的预测能力。

2）损失

损失是对糟糕预测的惩罚。损失是一个数值，表示对于单个样本而言，模型预测的准确程度。如果模型的预测完全准确，则损失为零，否则损失会较大。如下图：那副图的损失更大？红色箭头表示损失，蓝色线表示预测，可见图二的模型更准确（预测值-实际值），图一的损失更大。

3）模型训练

模型训练表示通过有标签样本来学习（确定）所有权重和偏差的理想值。模型训练检查多个样本，并尝试找出可最大限度的减少损失的模型（方向）。比如：上面的线性回归，k 和 b 都是两个未知的参数，根据已有的样本 x 和 y 去训练模型。

y = kx + b

4）标签

标签，白话说就是模型的 y 值，比如上面的线性回归标签就是销售额，抽象的说，标签就是结论。比如：【x，y】——【用户人数，销售额】——【100,1000】，就是一个样本。

2、代价函数（损失函数）

代价函数：是一个数学函数，能够以有意义的方式汇总各种损失
最常见的代价函数：MSE（均方误差）指的是每个样本平均平方损失。

注：MSE 常用于机器学习，但它不是唯一实用的损失函数，也不是适用于所有模型最佳的损失函数。

三、划分数据集（训练、验证、测试）

1）训练集与测试集（常见模式）

训练集：用于训练模型的子集
测试集：用于测试训练后模型的子集

举个例子：训练集相当于上课学知识，测试集相当于期末考试，用来最终评估学习效果。

2）划分注意点:

① 通常将数据集的70%作为训练集，30%作为测试集（8 : 2也行），并且挑选的测试集的特征应该与训练集的特征相同。
② 通常需要在开始构建模型之前把数据集进行划分，防止数据窥探偏误。也就是说，我们避免了解太多关于测试集中的样本特点，防止我们认为的挑选有助于测试集数据的模型。这样的结果会过于乐观，但是实际上并没有预期的那样优秀。
③ 对于时序数据集、训练集和测试集需按时间划分。比如说我目前有 1-10 月的数据，那么 1-8 月作为训练集，9-10月作为测试级。

原因：假设我们有了这个模型以后，都是用历史的数据，去预测未来的数据的，所以我们在训练数据的时候也要符合这个模式。

3）流程:

借助这种划分，可以对一个样本集进行训练，然后使用不同的样本集测试模型。采用两种分类以后，工作流程可能如下所示。

缺点：相当于不断的利用测试集（未来数据）去调整模型，类似数据窥探的效果会增大模型过拟合的风险。

4）优化后的流程:

缺点：① 验证集的缺点，10%数据很宝贵，拿去训练模型可能会产生更好的效果。② 繁琐
通常采用第一种（测试集和训练集），如果发现训练模型过拟合，通过手段没有降低的话，可以采用第二种模式。

四、交叉验证（Cross Validation）

交叉验证的基本思想是把在某种意义下将原始数据进行分组，一部分作为训练集（train set），另一部分作为验证集（validation set or test set）。首先用训练集对分类器进行训练，再利用验证集来测试训练得到的模型（model），以此来作为评价分类器的性能指标。
目的 : 用交叉验证的目的是为了得到可靠稳定的模型。
留出法(Holdout cross validation)：上面提到的按照固定比例将数据集静态的划分为训练集、验证集、测试集的方法就是留出法。
留一法(Leave one out cross validation )：每次的测试集都只有一个样本，需要进行 n 次训练和预测。这个方法用于训练的数据只比仅整体数据集少了一个样本，因此最接近原始样本的分布。但是训练复杂度增加了，因为模型的数量与原始数据样本数量相同，一般在数据缺乏时使用。
K折交叉验证(k-fold cross validation ):静态的留出法对数据的划分方式比较敏感，有可能不同的划分方式得到了不同的模型。【K折交叉验证】是一种动态的验证方式，这种方式可以降低数据划分带来的影响，会得到一个更可靠的模型。具体步骤如下：
五折交叉验证法：

① 将所有的数据集均匀的分成五份
② 不重复的每次取出其中一份做测试集，用其他四份做训练集训练模型，之后计算该模型在测试集上的MSE
③ 将五次的MSE取平均得到的最后的MSE，作为评价模型的指标

五、泛化能力与过拟合

泛化能力：对未知数据 (新数据) 的预测能力。
过拟合: 指的是模型在训练集上表现的很好，但是在交叉验证集合和测试集上表现一般，也就是说模型对未知样本的预测表现一般，泛化能力较差。
举例：比如下图三个模型，绿色表示训练集样本，红线表示模型的预测能力，蓝色表示新样本点。看模型三在训练集表示很好，但是在新样本表现一般，所以说泛化能力较差，出现过拟合。模型一在训练集表现的也不好，新样本预测也不好，称之为欠拟合。最终我们选择模型二，泛化能力越好，就是越好的模型。

哪个模型的泛化能力较差？

为什么会产生过拟合？

① 训练数据集合训练数据集样本单一，样本不足。如果训练样本只有负样本，然后拿生成的模型去预测正样本，这肯定预测不准，所以训练样本要尽可能的全面，覆盖所有的数据类型。
②训练数据中噪声干扰过大，噪声指训练数据中的干扰数据，过多的干扰会导致记录了很多噪声特征，忽略了真实输入和输出之间的关系。
③ 模型过于复杂，模型太复杂，已经能够死记硬背记下了训练数据的信息，但是遇到没有见过的数据的时候不能够变通，泛化能力太差。我们希望模型对不同的模型都有稳定的输出，模型太复杂是过拟合的重要因素。

如何降低过拟合？

① 获取和使用更多的数据（数据集增强）是解决过拟合的根本性方法。
② 采用合适的模型，控制模型的复杂度。根据奥卡姆剃刀法则：在同样能够解释已知观测现象的假设中，我们应该挑选 "最简单" 的那一个，对于模型的设计而言，我们应该选择简单合适的模型解决复杂的问题。
③ 降低特征的数量。对于一些特征工程而言，可以降低特征的数量，删除冗余特征，人工选择保留哪些特征，这种方法也可以解决过拟合问题。
④ 正则化，正则化就是在模型的代价函数里添加一个约束，使得可以减少模型参数的候选空间，使得模型更加简洁，本质上是控制模型复杂度。
⑤ dropout是在训练网络时用的一种技巧，相当于在隐藏单元增加了到噪声。drop out指的是在训练过程中，每次按一定的概率，比如50%，随机的删除一部分隐藏单元神经元。所谓的删除不是真正意义上的删除，其实就是将该部分神经元的激活函数设为零，激活函数的输出为零，让这些神经元不计算而已。
⑥ 提前终止，对模型进行训练的过程即是对模型的参数进行学习更新的过程。这个参数学习的过程往往会用到一些迭代方法，比如梯度下降Early stopping是一种迭代次数截断的方法来阻止过拟合的方法。即在模型对训练数据及迭代收敛之前停止迭代来防止过拟合。

所以，总的来说，一个好的模型，损失函数尽可能的小，泛化能力尽可能大。

六、模型类别

监督学习
监督学习是从<x,y标签>这样的事例中学习统计规律，然后对于新的 x 给出对应的 y 。通俗的讲，就是根据已有的数据集知道输入和输出结果之间的关系，根据这种已知的关系,训练得到一个最优模型。
① 分类模型：标签为分类型数据，比如预测用户是否流失（标签 y 为【是否】）
② 回归模型：标签为数值数据，比如预测销售额。

监督学习常见模型
K-近邻（KNN）
线性回归（回归模型）
逻辑回归（分类模型）
支持向量机
决策树和随机森林
神经网络

无监督学习
相比监督学习没有标注数据，也就是 y。无监督学习是从一堆数据中学习其内在统计规律或内在结构。学习到的模型可以是类别，转换或者概率，这些模型可以实现对数据的聚类、降维、可视化、概率估计和关联规则学习。

无监督学习常见模型
a.聚类算法
k-means算法(kmeans)
密度聚类算法
最大期望算法(EM)
b.降维
主成分分析(PCA)
c.关联规则学习
Apriori
d. 时间序列预测

半监督学习
半监督学习包含大量未标注数据和少量标注数据，主要是利用未标注中的信息辅助标注数据进行监督学习。大多数半监督学习算法是无监督式和监督式算法的结合。

七、模型评估

不同类型的模型评估方法不一。
先讲一个常见误区，大家是否觉得评估模型就用模型准确率？

实际例子，小a是某运营商的一名数据分析师，老板最近和他说："小a，最近我们这个 xx 流量产品每月流失用户都挺多的，能不能帮忙想想办法。"，小a 思考了一下，觉得假设我们能预测出下个月流失用户的名单，那我们是不是能提前对这批用户发发优惠，或者引导他们升级变更其他流量产品去挽留他们呢？

模型准确率9/10 = 90%
记得我们的任务目标吗，我们目标是不是想预测出哪些用户流失了？那这个模型在预测流失用户的表现如何，模型一个流失用户都没预测出来，尽管模型的准确率是90%这么高，但对于我们的业务来说，是无效模型。

分类评估指标

① 一级指标（底层指标）
混淆矩阵：混淆矩阵就是分别统计分类模型、归错类、归对类的观测值个数，然后把结果放在一个表里展示出来，这个表就是混淆矩阵。

真实值是positive，模型认为是positive的数量（True Positive =TP），真阳性。

真实值是positive，模型认为是negative的数量（False Negative = FN），这就是统计学上的第一类错误，弃真，假阴性。

真实值是negative，模型认为是positive的数量（False Positive = FP），这就是统计学上的第二类错误，纳伪，假阳性。

真实值是negative，模型认为是negative的数量（True Negative = TN），真阴性。

套上例子：
实际为流失用户，而模型预测也是流失用户的数量，即为TP
实际为流失用户，而模型预测时非流失用户的数量，即为FN
实际为非流失用户，而模型预测的是流失用户的数量，即为FP
实际为非流失用户，而模型预测是非流失用户的数量，即为TN

混淆矩阵怎么看？预测性分类模型肯定是希望越准越好，那么对应到混淆矩阵中，那肯定是希望TP和TN的数量大，而FP与FN的数量小。

② 二级指标
混淆矩阵里面统计的是个数，有时候面对大量的数据，光凭算个数很难衡量模型的优劣。因此混淆矩阵在基本的统计结果上又延伸了如下四个指标，我们称它为二级指标。

accuracy （准确率）:（TP + TN）/（TP + FN + FP + FN）
意义:分类模型所有判断正确的结果占总观测值的比重，一般不用

precision（准确率）：TP /（TP + FP）
意义:表示预测为正的样本数有多少是对的，可解释性强，常用越高越好。

record （召回率、查全率，真正率TPR）：TP / ( TP + FN)
意义：表示样本中的正例有多少被预测正确，可解释强，常用越高越好。

FPR （假正率）：FP / （FP + FN）
意义：表示当前被错误分到正样本类别中真实的负样本所占所有负样本总数的比例，越低越好。

③三级指标

ROC curve，这个曲线就是以下 TPR 和 FPR 为轴，取不同的阈值点画的。

模型去预测分类型任务的时候，本质上是预测分类型的概率的，比如计算流失的概率，如果这个概率大于阈值0.5的话，这即为流失，所以这里就有个阈值的存在。不同的阈值，会有不同的TP 、FP。

ROC_AUC:AUC就是曲线下面积，我们根据ROC曲线想一下，到底我们这个曲线涨什么样的模型才算好呢？TR率是越高越好，FP率是越低越好，所以我们的曲线应该是越靠近Y轴越好。（粗鲁）理解最终可抽象成，ROC曲线下面积越大越好，即AUC越大越好。

AUC评判标准 :
0.5-0.7 : 效果较低，但预测股票已经很不错了。
0.7-0.85 : 效果一般
0.85-0.95 : 效果很好
0.95-1 : 效果非常好，但不太可能

f1值:(2*Precision * Recall/(Precision+Record)
意义：我们的模型想recall和precision都高，但鱼与熊掌不可兼得，如果想要找到它们的平衡，那就用f1值。

分类评估指标，如何选择？
选择方针，根据你模型所解决的目的进行选择，比如我想现在。训练一个模型来识别出哪些是在逃罪犯？（宁可错杀1000，也不放过一个）-- recall，因为recall为表示样本中的正例有多少被预测正确，对于这个模型，就是所有的在逃罪犯为分母，模型预测为在逃罪犯为分子。假设recall为1，也就是所有的在逃罪犯模型都预测正确了。
根据指标可解释性去选择。实际工作中常常要向不懂机器学习的人去解释模型的效果，类似roc_auc和f1值，这种三级指标可解释性较弱，所以我们一般是选择recall和precision。

回归评估指标

平均绝对误差MAE
均方误差 MSE

相对MAE而言，MSE的数值更大。
均方根误差 RMSE
中位绝对误差
r^2决定系数（拟合优度）

回归评估指标如何选择？

一般选择MSE作为评估指标
MSE的误差的量纲相对较大。若选看量纲接近业务水平的，用MSE和RMSE
若担心某个误差较大会影响整体的评估指标，用MedAE
如果模型希望的是找到能够解释目标y变动的因变量，则选用R Squared更合适。