7.2 数据处理 : 数据的去重

知识基础

• Pandas包基础:pd.read_csv
• 正则表达式基础

在数据获取过程中由于网络延迟或者数据抓取规则的缘故，出现数据重复问题也是很常见的，所以需要对数据进行查重和去重处理。

首先每一行需要基于一个或者多个属性(attribution)是唯一(unique)的，或者确定数据唯一的规则，然后对数据进行查重和去重处理，继续以data.csv为例。

导入数据

from datapipeline import data

data.head()

现在没有重复的行，我们可以先手动添加一下

data = data.append(data[0:10])
print(data.__len__())

110

显然，data中ASIN为唯一attr，可基于ASIN去重

data = data.drop_duplicates('ASIN')
print(data.__len__())

100

Tip:

实际操作过程中要基于数据特征和业务需求进行去重处理，甚至可能需要自行编写去重规则，在此先不展开说明了。