从需求出发，循序渐进，由浅入深掌握pandas好用的Groupb

作者: 木头里有虫911 | 来源:发表于2021-01-14 21:27 被阅读0次

1. 分组的概念和功能

我们都知道设计和需求相关。一个好的设计一定是源于一些合理的需求，能够将这些合理的需求抽象化、泛化、再标准化就可以形成一些具体的设计范式。我们常说的函数，就是这个理念下的产物。
一个好用的函数不仅能轻松应对当前的业务需求，还需要有一定的扩展性，把暂时没有出现，但是将来可能会出现的情况考虑进去。这也是为什么一个函数通常包含很多参数，但是我们常用的仅仅是其中很少的部分。Pandas里面的分组Groupby函数就是这么一个非常好用的函数。那么它是来应对哪些数据统计需求呢？

要理解groupby的功能，首先要明白分组的含义：对原始数据的行按照某一个或者多个字段的取值或者要求重新组合，将满足同一个条件的行聚合到一起在计算其他数值。该过程即一个标准分组操作。其操作思路遵循split-apply-combine（拆分 - 应用 - 合并）的思想，示意如下：

image.png

上面的操作中，通过一个简单的按照门派来分组在求平均值聚合我们就可以得到逍遥派颜值出众，武当血厚善于防守而丐帮攻击厉害这一结论。乔帮主的降龙十八掌果然天下第一，哈哈跑题了。

在日常的数据统计分析中，以下的典型场景都可以用分组来完成：

依据性别分组，统计全国人口寿命的平均值
依据季节分组，统计每个季节内的降雨天数和降水总量
依据班级分组，筛选出组内数学分数的平均值超过80分的班级

将上面的问题抽象化，标准化可以发现他们的共性——都涉及到3个方面的内容：

分组依据（性别/季节/班级）
需要聚合/计算等操作的字段，或者是数据来源（人口寿命/温度/数学分数）
需要返回的结果，即需要的聚合操作
这3项是完成一个分组操作的3个必须要素。反之，如果有了这三个要素，则一定可以完成一个分组操作。
将上面这些要素抽象化，我们就可以写出分组操作的基本语法格式：
$df.groupby(m)[n].f$
其中：

m: 分组依据，但需要按照多个条件分组时，需要把条件放到一个列表中
n: 数据来源，即需要计算的字段，同样的，需要多个字段也是放入一个列表
f(function): 聚合函数，常用的有min/max/mean/count等，也可以传入自定义参数
好了，以上就是我们从需求出发，将需求的各个要素抽象化标准化在逐步演化得到groupby函数的过程，目的是让大家了解上面的m/n/f三个关键字的含义。下面我们就套用上面的公式就行演练！

2. Groupby分组依据

我们先来拆一拆groupby的第一个关键字——分组依据。下面通过案例来讲解。
下面的使用一份learn_pandas.csv的原始数据，这是一份包含学生学校性别等信息的表格。

import pandas as pd
import numpy as np

df = pd.read_csv('learn_pandas.csv')
df.head()

image.png

下面需要依据学校和性别分组，统计身高均值，我们套用上面的公式：

分组依据：m——学校和性别，多个参数可以作为一个列表：['School', 'Gender']
数据来源：n——身高
聚合方法：求平均值mean
将这三个参数带入，代码如下：

df.groupby(['School', 'Gender'])['Height'].mean()
>>>
School                         Gender
Fudan University               Female    158.776923
                               Male      174.212500
Peking University              Female    158.666667
                               Male      172.030000
Shanghai Jiao Tong University  Female    159.122500
                               Male      176.760000
Tsinghua University            Female    159.753333
                               Male      171.638889
Name: Height, dtype: float64

上面的例子中，分组的依据（School，Gender)为原始表格中已有的字段，那么能不能不使用原有的字段，而是按照一定的条件来分组呢？答案是可以的。例如我们需要按照体重是否大于均值分成两组，分别统计两组的身高均值：

df.groupby(df['Weight'] > df['Weight'].mean())['Height'].mean()
>>>
Weight
False    159.034646
True     172.705357
Name: Height, dtype: float64

上面的代码中df['Weight'] > df['Weight'].mean()即是分组依据，通过结果的索引（False/True）可以看出，其实最后产生的结果就是按照条件列表中元素的值（此处是 True 和 False ）来分组。下面用随机传入字母序列来验证这一想法：

item = np.random.choice(list('abc'), df.shape[0])
df.groupby(item)['Height'].mean()
>>>
a    162.567347
b    164.367606
c    162.428571
Name: Height, dtype: float64

上面的代码先创建了一个和原DataFrame等长的序列，并将这个序列作为分组依据。

从上面的例子中我们可以总结出分组依据的本质：
分组的依据来自于数据来源组合的unique值。例如在上面的学生信息表格中按照学校School和性别Gender来分组，如果学校的个数为m, 性别个数为2，并且在原始数据，每个学校都存在2中性别的行，则最终分组的个数为2m

3. Groupby对象

最终具体做分组操作时，所调用的方法都来自于 pandas 中的 groupby 对象，这个对象上定义了许多方法，也具有一些方便的属性。

# groupby返回一个groupby对象
df1 = df.groupby(['School', 'Grade'])
type(df1)
>>>
pandas.core.groupby.generic.DataFrameGroupBy

可以看到，groupby后返回一个groupby对象，且是一个生成器。既然是生成器我们就可以用for循环遍历里面的元素：

for i in df1:
  print(i)

结果太长，下面是部分截图。通过截图可以看到每个元素是一个tuple, tuple的第一个元素是分组的依据，第二个是具体的值，是一个DataFrame

image.png

for i in df1:
    print(type(i), i[0])
>>>
<class 'tuple'> ('Fudan University', 'Freshman')
<class 'tuple'> ('Fudan University', 'Junior')
<class 'tuple'> ('Fudan University', 'Senior')
<class 'tuple'> ('Fudan University', 'Sophomore')
<class 'tuple'> ('Peking University', 'Freshman')
<class 'tuple'> ('Peking University', 'Junior')
<class 'tuple'> ('Peking University', 'Senior')
<class 'tuple'> ('Peking University', 'Sophomore')
<class 'tuple'> ('Shanghai Jiao Tong University', 'Freshman')
<class 'tuple'> ('Shanghai Jiao Tong University', 'Junior')
<class 'tuple'> ('Shanghai Jiao Tong University', 'Senior')
<class 'tuple'> ('Shanghai Jiao Tong University', 'Sophomore')
<class 'tuple'> ('Tsinghua University', 'Freshman')
<class 'tuple'> ('Tsinghua University', 'Junior')
<class 'tuple'> ('Tsinghua University', 'Senior')
<class 'tuple'> ('Tsinghua University', 'Sophomore')

其他常用属性还有

ngroups: 返回分组的个数
groups(a)：返回该组所有行在原表中的行号（行索引）
size：每个组的大小

print(df1.ngroups)  # ngroups：分组个数
print("-" * 10)
print(df1.groups[('Fudan University', 'Freshman')]) # 返回改组的索引
print("-" * 10)
print(df1.size())  # 每个组别的个数

>>>
16
----------
Int64Index([15, 28, 63, 70, 73, 105, 108, 157, 186], dtype='int64')
----------
School                         Grade    
Fudan University               Freshman      9
                               Junior       12
                               Senior       11
                               Sophomore     8
Peking University              Freshman     13
                               Junior        8
                               Senior        8
                               Sophomore     5
Shanghai Jiao Tong University  Freshman     13
                               Junior       17
                               Senior       22
                               Sophomore     5
Tsinghua University            Freshman     17
                               Junior       22
                               Senior       14
                               Sophomore    16
dtype: int64

4. 本次的重点内容：分组后3大基本操作

熟悉了一些分组的基本知识后，重新回到开头举的三个例子，可能会发现一些端倪，即这三种类型分组返回的数据型态并不一样：
第一个例子中，每一个组返回一个标量值，可以是平均值、中位数、组容量 size 等
第二个例子中，做了原序列的标准化处理，也就是说每组返回的是一个 Series 类型
第三个例子中，既不是标量也不是序列，而是通过筛选返回的整个组所在行的本身，即返回了 DataFrame 类型
由此，引申出分组的三大操作：

聚合- agg、
变换 - transform
过滤 - filter

下面分别介绍

4.1 聚合 aggregation (agg)

内置聚合函数
在介绍agg之前，首先要了解一些直接定义在groupby对象的聚合函数，因为它的速度基本都会经过内部的优化，使用功能时应当优先考虑。
包括如下函数：

max/min/mean/median/count/
all/any/idxmax/idxmin/
mad/nunique/skew/quantile/
sum/std/var/sem/size/prod
其中有些不常用的函数如下：
any(): 如果组内有truthful的值就返回True。
all(): 组内所有元素都是truthful，返回True。
mad()：返回组内元素的绝对中位差。先计算出数据与它们的中位数之间的残差，MAD就是这些偏差的绝对值的中位数。MAD比方差鲁棒性更好。
skew()：组内数据的偏度。
sem()：组内数据的均值标准误差。
prod() ：组内所有元素的乘积。

df.groupby('Gender')['Height'].idxmin()
>>>
Gender
Female    143
Male      199
Name: Height, dtype: int64

df.groupby('Gender')[['Height', 'Weight']].max()
>>>
Height  Weight
Gender      
Female  170.2   63.0
Male    193.9   89.0

agg方法

虽然在 groupby 对象上定义了许多方便的函数，但仍然有以下不便之处：

无法同时使用多个函数
无法对特定的列使用特定的聚合函数
无法使用自定义的聚合函数
无法直接对结果的列名在聚合前进行自定义命名

下面说明如何通过 agg 函数解决这四类问题：

【a】使用多个函数
当使用多个聚合函数时，需要用列表的形式把内置聚合函数对应的字符串传入，先前提到的所有字符串都是合法的。例如我们需要同时获得每个学校的学生的身高/体重的最大/最小值/学生总数以及该学生的行索引：
同样的，对应上面的公式：

分组依据m = 'School'
数据n = ['Height', 'Weight']
聚合函数，这里需要多个函数，使用agg,参数为['max', 'min', 'count', 'idxmax', 'idxmin']
代入即可：

df.groupby('School')['Height', 'Weight'].agg(['max', 'min', 'count', 'idxmax', 'idxmin'])

结果如下：

image.png
从结果看，此时的列索引为多级索引，第一层为数据源，第二层为使用的聚合方法，分别逐一对列使用聚合，因此结果为10列。

【b】对特定的列使用特定的聚合函数
对于方法和列的特殊对应，可以通过构造字典传入 agg 中实现，其中字典以列名为键，以聚合字符串或字符串列表为值。例如现在的需求为按照性别分组，对身高/体重聚合，其中身高需要最大值以及该值的行索引，体重需要平均值和该性别的总数

df.groupby('Gender')['Height', 'Weight'].agg({'Height': ['max', 'idxmax'], 'Weight': ['mean', 'count']})

image.png

【c】使用自定义函数

在 agg 中可以使用具体的自定义函数，需要注意传入函数的参数是之前数据源中的列，逐列进行计算。下面分组计算身高和体重的极差：

df.groupby('School')['Weight', 'Height'].agg([lambda x: x.max() - x.min()])

image.png

【d】聚合结果重命名

如果想要对聚合结果的列名进行重命名，只需要将上述函数的位置改写成元组，元组的第一个元素为新的名字，第二个位置为原来的函数，包括聚合字符串和自定义函数，现举例子说明：

df.groupby('School')['Weight', 'Height'].agg([('range', lambda x: x.max() - x.min())])

image.png

好了，本次重点介绍groupby后的agg方法，除了agg聚合之外，groupby之后还有transform、apply和filter方法，我们下在来介绍。

另外，更多精彩内容也可以微信搜索，并关注公众号：‘Python数据科学家之路“ ，期待您的到来和我交流！

从需求出发，循序渐进，由浅入深掌握pandas好用的Groupb

1. 分组的概念和功能

2. Groupby分组依据

3. Groupby对象

4. 本次的重点内容：分组后3大基本操作

4.1 聚合 aggregation (agg)

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

python

Python

数据分析