为什么需要数据处理？
数据不会规规矩矩的一导出就是我们预期的样子，往往工作中遇到的数据是杂乱无章，残缺不全的数据，需要我们将数据弄得井井有条，干干净净，才能进行下一步——按目标进行数据分析。所以数据处理是数据分析过程中，是非常重要的。
什么是数据处理？
数据处理时根据数据分析的目的，将收集到的数据进行加工、整理，使数据保持准确一致性和有效性，以形成适合数据分析要求的样式，也是我们常常提到的一维表（还记得如何区分一维表和二维表吗？😬）
☆数据处理主要内容：数据清洗，数据合并，数据抽取，数据计算，数据转换
数据清洗
1. 多余重复的数据筛选清除（如何判断多余重复）
2. 将缺失的数据补充完整（缺失如果补不了能不能删除）
3. 将错误的数据纠正或删除（如何判断数据是错误的）
1.重复数据处理
Excel处理为主：
函数法，高级筛选法，条件格式法，数据透视表法，重复数据删除
2.缺失数据处理
如果缺失值过多，说明数据在收集过程中存在严重的缺失，一般情况下，可接受的缺失值在10%以下
（1）缺失值先判断是可补之外的缺失值，是否通过其他数据源或字段进行补充，之后再看这个缺失表里
（2）缺失类型，之前提到的数据——字段&记录，所以缺失分两类：字段缺失和记录缺失
缺失的原因：机械原因，人为原因
补全方法：
1.样本统计量代替缺失值，样本平均值代替
2.统计模型计算出的值代替，常见——回归模型
3.缺失记录删除，慎用
4.缺失值记录保留，仅在对应的的分析中做必要的排除，样本量大，缺失值不多，变量无高度相关的情况可以考虑此种方法
Excel补全方式：
1.批量填充，使用定位条件
2.查找替换
3.空格数据处理：trim函数
数据合并
字段合并与匹配
concat（）函数，连接符&等用于字段合并
VLOOKUP函数用于匹配，对应SQL中的各种join
数据抽取
1.字段拆分提取所需的内容，LEFT，RIGHT，MID函数灵活使用
2.RAND和RANDBETWEEN函数生成随机数，便于随机抽样
数据计算
1.简单的运算法则算数据
2.函数使用，算日期间隔DATEDIF（start_date,end_date,unit）
3.数据分组，数据区间作为一组，使用IF函数，VLOOKUP函数等
数据转换
1.行列转换
2.二维表转一维表（数据透视表是个很好的工具）
3.数据类型转换，🌰：文本转数值等，前面提到的日期计算函数，如果是文本型日期要先转成日期数据类型再使用公式
总结
第 3章和第 4章内容属于应用范畴，熟能生巧，知道如何去用即可。函数的积累在平时，不懂的函数去网上搜一搜，多搜一个就多学了一个，进步在平时。
网友评论