1.目的
数据探索是为了提前发现数据中包含的一些简单规律或特征；
数据清洗是为了留下可靠数据，修正不可靠数据，去除脏数据的干扰。
2.数据探索的核心
①数据质量分析；
②数据特征分析（即对数据的分布、对比、周期性、相关性、常见统计量等进行分析）
3.数据清洗步骤
（1）缺失值处理（通过describe与len直接发现、通过0数据发现）
①一般遇到缺失值，处理方式有：删除、插补、不处理。
②插补也方式有：均值插补、中位数插补、众数插补、固定值插补、最近数据插补、回归插补、拉格朗日插值、牛顿插值法、分段插值等。
（2）异常值处理（通过散点图发现）
遇到异常值，一般处理方式为视为缺失值、删除、修补（平均数、中位数等）、不处理。
4.数据清洗实例
第一步：数据导入
第二步：缺失值处理
第三步：异常值处理
5.分布分析（直方图）
分布分析
直方图
1.目的 数据探索是为了提前发现数据中包含的一些简单规律或特征； 数据清洗是为了留下可靠数据，修正不可靠数据，去除...
目录： 项目背景 项目目标 字段说明 数据预处理数据探索数据清洗 用户行为分析RFM模型RFM模型建立用户价值分析...
数据预处理的主要内容包括数据清洗、数据集成、数据变换和数据规约。 3.1数据清洗 数据清洗主要是删除原始数据集中的...
数据洞察 数据清洗 数据预处理 数据获取 数据筛选 6.数据汇总 数据输出
第三部分 数据预处理 预处理技术：字段选择、数据清洗、字段扩充、数据编码 3.1数据清洗 异常数据甄别及处理方法：...
数据预处理包括有数据清洗，数据集成，数据转换，数据规约等过程。 数据预处理的目的是提高数据的质量，同时让数据更好的...
数据预处理主要包括数据清洗（Data Cleaning）、数据集成（Data Integration）、数据转换（...
数据预处理主要包括4个部分： 数据清洗 数据集成 数据变换 数据规约 1. 数据清洗 缺失值处理： 删除数据 不处...
Python数据分析与数据挖掘思路分为四大模块：数据获取、数据探索、数据预处理、挖掘建模
数据ETL： 数据挖掘一般过程： 数据探索： 数据预处理
本文标题：「数据预处理」03数据探索与数据清洗
本文链接：https://www.haomeiwen.com/subject/uvgnzctx.html
网友评论