大师兄的数据分析学习笔记(九）：特征工程

大师兄的数据分析学习笔记(八）：探索性数据分析（七）
大师兄的数据分析学习笔记(十）：特征预处理（一）

一、关于特征工程

1. 关于机器学习

• 机器学习就是计算机根据数据经验，自动化做出决策的过程。
• 最终机器学习达到的状态类似函数，即输入数据后，可以根据目标或训练结果输出结果。

2. 关于数据模型

• 这个机器学习的主体就是数据模型。
• 数据模型是个函数，也是机器学习学习状态的体现。
• 数据模型并不是人为搭建起来的系统，而是由数据构造。
• 数据模型的作用是根据输入数据得到输入相关的映射。
• 通过模型框架/算法将数据组织起来，就可以得到数据模型。
• 数据模型是算法和数据共同作用的结果：

• 即便使用同样的算法，在不同数据集参与的情况下，也会形成不同的模型。
• 同样的数据在不同算法下也有不同的表现。

• 数据集的质和量的大小与数据模型的复杂度是负相关关系。
• 数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限。

3. 关于特征提取

• 因为有不同的模型算法，所以对数据有不同的要求。
• 可以直接使用这些数据，也可以直接提取这些数据的特征使用。
• 特征的提取和使用是非常浩大的工程，而哪些特征有用，哪些特征没用，和建模的目的是相关的。
• 数据的特征都隐藏在数据里，提取特征需要丰富的生活经验，也需要观察和归纳总结。

4. 关于特征工程

• 特征工程的内涵非常丰富，一般包括：特征使用、特征获取、特征处理、特征监控四个方面
• 特征使用关注特征的数据源，包括两个方面：数据的选择和数据的可用性：

• 数据选择是分析和目标最相关的数据有哪些，这些数据如何获取。
• 数据的可用性是指数据特征是否能持续输出。

• 特征获取是在数据源确定的情况下，确定与存储数据的过程，包括特征来源和特征存储两个方面：

• 特征来源：确认特征来自哪张表或哪个文件。
• 特征存储：特征的规整与存储。

• 特征处理，也就是特征的预处理过程，目的是使数据属性和特征发挥最大作用、体现差别，分为数据清洗和特征预处理两个部分。
• 特征监控，如果要对建立的模型长期使用，需要不断对数据模型和数据特征的契合程度进行监控和校正，分为现有特征和新特征监控：

• 现有特征：现有特征对数据任务是否有积极作用。
• 新特征：有助提高效果或更能代表数据任务目标的新特征。