数据清洗是数据分析的流程之一，也是需要花费数据分析师很大一部分时间来做的一件事。
数据清洗包括数据缺失问题和数据异常问题：
一、如果清洗中发现是数据缺失的问题，请你这样问自己？
1.缺失的信息来源于哪个数据表？在原表中它也是缺失的吗？这样可以排除数据是不是在提取过程中出现了失误！
2.如果原表中该数据也是缺失的，那么会不会在收集信息的过程中出现了疏漏？请与业务部门沟通。
3.缺失信息的比例是多少？但缺失比例超过90%，该变量列可以删除。当缺失比例较低时，可以采用平均值或中位数填充。
二、如果清洗中发现是数据异常的问题
1.数据有明显违背常识的错误（格式错误、内容错误-数据含有文本）；
2.数据中出现了离群值，是波动很大的数据；
3.用户自己填写所收集的数据（可信度不高）；
4.逻辑错误的数据。
数据清洗不仅会花时间还需要分析师在清洗数据时投入更多的专注力与沟通，否则就会出错。
最后是数据整理：
1.对数据进行统一的格式化和命名规则处理。
2.对某些信息（异常数据）进行重新编码以满足后续的分析需求。
完
数据预处理的主要内容包括数据清洗、数据集成、数据变换和数据规约。 3.1数据清洗 数据清洗主要是删除原始数据集中的...
分析lianjia房源数据（一）——Python数据清洗 分析lianjia房源数据（二）——SPSS数据清洗 分...
分析lianjia房源数据（一）——Python数据清洗 分析lianjia房源数据（二）——SPSS数据清洗 分...
前置内容——lianjia数据清洗 分析lianjia房源数据（一）——Python数据清洗 分析lianjia房...
数据清洗工作是数据分析工作中不可缺少的步骤，这是因为数据清洗能够处理掉肮脏数据，如果不清洗数据的话，那么数据分析的...
本文由brzhang发表 数据清洗 首先，为何需要对数据进行清洗 数据清洗的工作绝壁是非常枯燥的，做数据研究的的人...
从两个角度上看，数据清洗一是为了解决数据质量问题，二是让数据更适合做挖掘。不同的目的下分不同的情况，也都有相应的解...
数据清洗 重复数据处理（推荐使用顺序） 数据透视表可统计数据重复次数和重复数据 选中A、B两列，点击插入选项卡-数...
数据清洗是指对提供的原始数据进行一定的加工，使得其方便后续的特征抽取。其与特征抽取的界限有时也没有那么明确。常用的...
本文标题：数据清洗
本文链接：https://www.haomeiwen.com/subject/dkkowktx.html
网友评论