去除重复数据
DataFrame中出现重复行有多种原因。下面就是一个例子：
import pandas as pd
import numpy as np
data = pd.DataFrame({'k1': ['one', 'two'] * 3 + ['two'],
'k2': [1, 1, 2, 3, 3, 4, 4]})
data
k1k20one11two12one23two34one35two46two4
DataFrame的duplicated 方法返回一个布尔型Series ，表示各行是否是重复行（前面出现过的行）：
data.duplicated()
0 False
1 False
2 False
3 False
4 False
5 False
6 True
dtype: bool
还有一个与此相关的drop_duplicates方法，它会返回一个DataFrame，重复的数组会标为False：
data.drop_duplicates()
k1k20one11two12one23two34one35two4
这两个方法默认会判断全部列，你也可以指定部分列进行重复项判断。假设我们还有一列值，且只希望根据k1列过滤重复项：
data['v1'] = range(7)
data
k1k2v10one101two112one223two334one345two456two46
data.drop_duplicates(['k1']) ### 只保留最先出现的
k1k2v10one101two11
duplicated 和drop_duplicates默认保留的是第一个出现的值组合。传入keep='last' 则保留最后一个：
data.drop_duplicates(['k1'], keep='last')
k1k2v14one346two46
data.drop_duplicates(['k1','k2'], keep='first')
k1k2v10one101two112one223two334one345two45
data.drop_duplicates(['k1','k2'], keep='last')
k1k2v10one101two112one223two334one346two46
利用函数或映射进行数据转换
对于许多数据集，你可能希望根据数组、Series 或DataFrame列中的值来实现转换工作。我们来看看下面这组有关肉类的数据：
data = pd.DataFrame({'food': ['bacon', 'pulled pork', 'bacon',
'Pastrami', 'corned beef', 'Bacon',
'pastrami', 'honey ham', 'nova lox'],
'ounces': [4, 3, 12, 6, 7.5, 8, 3, 5, 6]})
data
foodounces0bacon4.01pulled pork3.02bacon12.03Pastrami6.04corned beef7.55Bacon8.06pastrami3.07honey ham5.08nova lox6.0
假设你想要添加一列表示该肉类食物来源的动物类型。我们先编写一个不同肉类到动物的映射：
meat_to_animal = {
'bacon': 'pig',
'pulled pork': 'pig',
'pastrami': 'cow',
'corned beef': 'cow',
'honey ham': 'pig',
'nova lox': 'salmon'
}
meat_to_animal
{'bacon': 'pig',
'pulled pork': 'pig',
'pastrami': 'cow',
'corned beef': 'cow',
'honey ham': 'pig',
'nova lox': 'salmon'}
Series 的map 方法可以接受一个函数或含有映射关系的字典型对象，但是这里有一个小问题，即有些肉类的首字母大写了，而另一些则没有。因此，我们还需要使用Series 的str.lower 方法，将各个值转换为小写：
data['animal']=data.food.str.lower().map(meat_to_animal)
data
foodouncesanimal0bacon4.0pig1pulled
pork3.0pig2bacon12.0pig3Pastrami6.0cow4corned
beef7.5cow5Bacon8.0pig6pastrami3.0cow7honey ham5.0pig8nova lox6.0salmon
我们也可以传入一个能够完成全部这些工作的函数：
data.food.map(lambda x: meat_to_animal[x.lower()]) ### 字典后面用[],里面填写的为键名
0 pig
1 pig
2 pig
3 cow
4 cow
5 pig
6 cow
7 pig
8 salmon
Name: food, dtype: object
使用map 是一种实现元素级转换以及其他数据清理工作的便捷方式。####看到map 想到的是不是R里面的apply
替换值
利用fillna方法填充缺失数据可以看做值替换的一种特殊情况。前面已经看到，map 可用于修改对象的数据子集，而replace则提供了一种实现该功能的更简单、更灵活的方式。我们来看看下面这个Series ：
data2=pd.Series([1., -999., 2., -999., -1000., 3.])
data2
0 1.0
1 -999.0
2 2.0
3 -999.0
4 -1000.0
5 3.0
dtype: float64
-999这个值可能是一个表示缺失数据的标记值。要将其替换为pandas能够理解的NA值，我们可以利用replace来产生一个新的Series （除非传入inplace=True ）：
data2.replace(-999,np.nan)
0 1.0
1 NaN
2 2.0
3 NaN
4 -1000.0
5 3.0
dtype: float64
如果你希望一次性替换多个值，可以传入一个由待替换值组成的列表以及一个替换值：：
data2.replace([-999,-1000],np.nan)
0 1.0
1 NaN
2 2.0
3 NaN
4 NaN
5 3.0
dtype: float64
data2.replace([-999,-1000],[np.nan,0])
0 1.0
1 NaN
2 2.0
3 NaN
4 0.0
5 3.0
dtype: float64
传入的参数也可以是字典：
data2.replace({-999:np.nan,-1000:0})
0 1.0
1 NaN
2 2.0
3 NaN
4 0.0
5 3.0
dtype: float64
笔记：data.replace方法与data.str.replace 不同，后者做的是字符串的元素级替换。我们会在后面学习Series 的字符串方法。
重命名轴索引
跟Series 中的值一样，轴标签也可以通过函数或映射进行转换，从而得到一个新的不同标签的对象。轴还可以被就地修改，而无需新建一个数据结构。
接下来看看下面这个简单的例子：
data = pd.DataFrame(np.arange(12).reshape((3, 4)),
index=['Ohio', 'Colorado', 'New York'],
columns=['one', 'two', 'three', 'four'])
data
进群：960410445 获取更多项目源码！
onetwothreefourOhio0123Colorado4567New York891011
data.index.str.upper()
Index(['OHIO', 'COLORADO', 'NEW YORK'], dtype='object')
transf=lambda x:x[:3].upper()
data.index.map(transf)
Index(['OHI', 'COL', 'NEW'], dtype='object')
你可以将其赋值给index ，这样就可以对DataFrame进行就地修改：
data.index=data.index.map(transf)
data
onetwothreefourOHI0123COL4567NEW891011
如果想要创建数据集的转换版（而不是修改原始数据），比较实用的方法是rename ：
data.rename(columns=str.upper) ##可以看到直接用str.upper就可以
ONETWOTHREEFOUROHI0123COL4567NEW891011
data.rename(index=str.lower,columns=str.upper)
ONETWOTHREEFOURohi0123col4567new891011
特别说明一下，rename 可以结合字典型对象实现对部分轴标签的更新：
data.rename(index={'COL':'col'},columns={'three':'THREE'})
onetwoTHREEfourOHI0123col4567NEW891011
rename 可以实现复制DataFrame并对其索引和列标签进行赋值。如果希望就地修改某个数据集，传入inplace=True 即可：
data.rename(index={'COL':'col'},columns={'three':'THREE'},inplace=True)
data
onetwoTHREEfourOHI0123col4567NEW891011
离散化和面元划分
为了便于分析，连续数据常常被离散化或拆分为“面元”（bin）。假设有一组人员数据，而你希望将它们划分为不同的年龄组：
ages = [20, 22, 25, 27, 21, 23, 37, 31, 61, 45, 41, 32]
接下来将这些数据划分为“18 到25”、“26 到35”、“35 到60”以及“60 以上”几个面元。要实现该功能，你需要使用pandas的cut函数：
bins = [18, 25, 35, 60, 100]
cats=pd.cut(ages,bins)
cats
[(18, 25], (18, 25], (18, 25], (25, 35], (18, 25], ..., (25, 35], (60, 100], (35, 60], (35, 60], (25, 35]]
Length: 12
Categories (4, interval[int64]): [(18, 25] < (25, 35] < (35, 60] < (60, 100]]
pandas返回的是一个特殊的Categorical对象。结果展示了pandas.cut 划分的面元。你可以将其看做一组表示面元名称的字符串。它的底层含有一个表示不同分类名称的类型数组，以及一个codes 属性中的年龄数据的标签：
cats.codes
array([0, 0, 0, 1, 0, 0, 2, 1, 3, 2, 2, 1], dtype=int8)
cats.categories
IntervalIndex([(18, 25], (25, 35], (35, 60], (60, 100]]
closed='right',
dtype='interval[int64]')
pd.value_counts(cats)
(18, 25] 5
(35, 60] 3
(25, 35] 3
(60, 100] 1
dtype: int64
pd.value_counts(cats) 是pandas.cut 结果的面元计数.跟“区间”的数学符号一样，圆括号表示开端，而方括号则表示闭端（包括）。哪边是闭端可以通过right=False 进行修改：
pd.cut(ages, [18, 26, 36, 61, 100], right=False)
[[18, 26), [18, 26), [18, 26), [26, 36), [18, 26), ..., [26, 36), [61, 100), [36, 61), [36, 61), [26, 36)]
Length: 12
Categories (4, interval[int64]): [[18, 26) < [26, 36) < [36, 61) < [61, 100)]
你可以通过传递一个列表或数组到labels ，设置自己的面元名称：
group_names = ['Youth', 'YoungAdult', 'MiddleAged', 'Senior']
pd.cut(ages, [18, 26, 36, 61, 100], right=False,labels=group_names)
[Youth, Youth, Youth, YoungAdult, Youth, ..., YoungAdult, Senior, MiddleAged, MiddleAged, YoungAdult]
Length: 12
Categories (4, object): [Youth < YoungAdult < MiddleAged < Senior]
如果向cut传入的是面元的数量而不是确切的面元边界，则它会根据数据的最小值和最大值计算等长面元。下面这个例子中，我们将一些均匀分布的数据分成四组：
data = np.random.rand(20)
data
array([0.80223105, 0.88137599, 0.97961241, 0.920102 , 0.57567918,
0.72476966, 0.76192477, 0.75227536, 0.42585703, 0.3250243 ,
0.71434115, 0.6449239 , 0.73370247, 0.46096013, 0.73906558,
0.76717047, 0.81297268, 0.02281176, 0.3664884 , 0.07191769])
pd.cut(data,6,precision=1)
[(0.7, 0.8], (0.8, 1.0], (0.8, 1.0], (0.8, 1.0], (0.5, 0.7], ..., (0.7, 0.8], (0.7, 0.8], (0.02, 0.2], (0.3, 0.5], (0.02, 0.2]]
Length: 20
Categories (6, interval[float64]): [(0.02, 0.2] < (0.2, 0.3] < (0.3, 0.5] < (0.5, 0.7] < (0.7, 0.8] < (0.8, 1.0]]
选项precision=1，限定小数只有1位。qcut
是一个非常类似于cut的函数，它可以根据样本分位数对数据进行面元划分。根据数据的分布情况，cut可能无法使各个面元中含有相同数量的数据点。而qcut
由于使用的是样本分位数，因此可以得到大小基本相等的面元：
data = np.random.randn(1000) # 正太分布
cats = pd.qcut(data,3)
cats
[(-0.446, 0.386], (0.386, 3.875], (0.386, 3.875], (-2.834, -0.446], (0.386, 3.875], ..., (0.386, 3.875], (0.386, 3.875], (-2.834, -0.446], (-0.446, 0.386], (0.386, 3.875]]
Length: 1000
Categories (3, interval[float64]): [(-2.834, -0.446] < (-0.446, 0.386] < (0.386, 3.875]]
pd.value_counts(cats)
(-2.834, -0.446] 334
(0.386, 3.875] 333
(-0.446, 0.386] 333
dtype: int64
与cut类似，你也可以传递自定义的分位数（0到1之间的数值，包含端点）：
cat=pd.qcut(data, [0, 0.1, 0.5, 0.9, 1.])
pd.value_counts(cat,sort=False)
(-2.834, -1.35] 100
(-1.35, -0.0784] 400
(-0.0784, 1.248] 400
(1.248, 3.875] 100
网友评论