机器学习是从数据中自动分析获得模型,并利用模型对未知数据进行预测。

人见到新问题会根据之前处理类似问题的经验的规律来解决这个问题,并预测这个问题会怎么样。
机器根据历史数据训练出模型,拿到新的问题前,把数据输入到模型里面,用这个模型来预测未来会怎么样。
学习:如果一个系统能够通过执行某个过程改进它的性能,这就是学习。
机器学习工作流程

拿到用户数据,对数据进行基本处理、处理完成再进行特征工程(对数据进行进一步处理方便进行机器进行学习)、机器学习(对处理好的数据进行模型训练)、训练完成再进行模型评估。模型评估得好进行上线服务,评估不好重新进行处理流程。
1获取数据2数据基本处理3特征工程4机器学习(模型训练)5模型评估【结果达到要求,上线服务。没有达到要求,重新上面步骤】
获取到的数据集
在数据集中一般:
一行数据称为一个样本sample或示例instance。
一列数据称为一个特征feature或属性attribute。
需要判断的列称为目标值,有些数据集有目标值,有些数据集没有目标值。
数据类型:
类型一:特征值+目标值
类型二:只有特征值,没有目标值
数据分割:
机器学习一般的数据集划分为两个部分:
1训练集:用于训练、构建模型。
2测试集:在模型检验是使用,用于评估模型是否有效。
划分比例:训练集(70%-80%)测试集(30%-20%)
数据基本处理
数据基本处理让数据变得更加规范,如处理缺失值、去除异常值
特征工程Feature Engineering
数据的特征处理叫做特征工程。特征工程是使用专业的背景知识和技巧处理数据,使得特征能在机器学习算法上发挥更好的作用的过程。
特征工程的重要性:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。
特征工程包含的内容:
- 特征提取
将任意数据(如文本或图像)转换为可用于机器学习的数字特征。
如文字转换成数字。 - 特征预处理
通过一些转换函数将特征数据转换成更加适合算法模型的特征数据的过程。
改变样本数据特征的量值,变成相同范围之内的数据。 - 特征降维
在某些限定条件下,降低随机变量(特征的个数),得到一组“不相关”主变量的过程。
如三维降为二维。
机器学习
选择合适的算法对模型进行训练
模型评估
对训练好的模型进行评价
网友评论