原文:https://www.cnblogs.com/BoyceYang/p/8182053.html
https://blog.csdn.net/yen_csdn/article/details/53445616
Pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
下面我们通过使用 Pandas 提供的功能来清洗“脏”数据。
DataFrame :DataFrame是一个表格型的数据结构,它含有一组有序的列,每列可以是不同的值类型(数值、字符串、布尔值等)。DataFrame既有行索引也有列索引,它可以被看做由Series组成的字典(共用同一个索引)。
DataFrame可以通过类似字典的方式或者.columnname的方式将列获取为一个Series。行也可以通过位置或名称的方式进行获取。
Series :Series可以运用ndarray或字典的几乎所有索引操作和函数,融合了字典和ndarray的优点。可以看成增强版的list
Data : 基本数据,bool,string等
在机器学习,大数据领域,CSV是一种常见的数据格式。本文提到的数据清洗即时针对CSV 文件 读取的
Pandas 提供了 read_csv()函数,读出来的数据格式为DataFrame 通过to_csv 可以方便的将DataFrame结构的数据直接写入数据文件 。
基本数据构建成一维的Series,Series构建成二位表格形式的DataFrame ,DataFrame 结构的数据是可以很方便的通过read_csv、 to_csv与csv 数据文件交互。
以上可知,数据清洗的基本对象为DataFrame(简称 :df)结构的数据。
Pandas 提供了大量的df处理函数
https://blog.csdn.net/u014281392/article/details/75331570
常用的数据清洗类型:
1) 缺失值处理
填充 fillna
固定值填充 fillna(0) ,fillna('missing') 可以用任何值代替缺失值
统计替代 用前一个值替代fillna(methon='pad'),用平均数替代df.fillna(df.mean())
滤除 dropna 默认按行剔除,剔除含有NaN的行,如果指定how='all' 剔除全部为NAN 的行 dropna(how='all')
如果计划按列剔除 传入参数axis=1 即可 dropna(how='all',axis=1)
区分处理 is(not)null 判定是否为空,然后进行处理
2)异常值处理
3)移出重复数据
duplicated DataFrame的duplicated方法返回一个布尔型Series,表示各行是否是重复行
drop_duplicated 它用于返回一个移除了重复行的DataFrame:
网友评论