对数据进行分组运算是数据分析中很常见的操作，如果数据存储在数据库，如 MySQL、Oracle、Hive 中，那么使用 groupby 关键字在大部分时候就可以满足需求。
Pandas 提供了一系列函数来实现类 SQL 语句，好用到爆，下面来一起看看和 SQL 具体对应的操作：
- select [column1, column2 ... ] where [condition1, condition2 ... ]
最基本的 select 操作，其实在前面的电影筛选中已经介绍过了，比如：
# 筛选电影排名小于等于 5 且评分高于 9.0
print movie_pd[ (movie_pd['rank'] <=5) & (movie_pd['score'] > 9.0) ]
# 筛选电影发布日期大于 2010-01-01 或 评论数超过 50万
print movie_pd[ (movie_pd['release_date'] > '2010-01-01') | (movie_pd['vote_count'] > 500000) ]
# 筛选电影链接为空的前 10 条
print movie_pd[ movie_pd['url'].isnull() ].head(10)
其中 &、| 符号分别相当于 MySQL 中的 and、or 操作符。
- groupby：分组运算函数
按照电影类型 category 分组计算每个类型的电影个数，SQL 如下：
select category, count(*) as num
from movie
group by category
对应的 Pandas 操作：
import pandas as pd
import numpy as np
movie_pd = pd.read_csv('douban_movie.csv', header=0, sep='\t')
movie_pd.groupby('category').size()
部分输出如下：
category
传记 70
儿童 16
冒险 155
剧情 534
其类型为 Series，如果想要转化为 DataFrame 格式，同时给电影个数那一列添加列名 num，可以使用 reset_index( ) 函数，写法如下：
movie_pd.groupby('category').size().reset_index(name = 'num')
这样输出的就是标准的 DataFrame 格式了，方便之后的其他计算。
category num
0 传记 70
1 儿童 16
2 冒险 155
3 剧情 534
4 动作 253
有时候，SQL 中还会涉及到 count ( distinct movie_id ) 的去重计数操作，这个时候把 size( ) 函数替换为 nunique( ) 函数即可，如下：
movie_pd.groupby('category')['movie_id'].nunique().reset_index(name='num')
- agg：辅助分组的函数
有时候按照某个字段分组以后，需要计算多个字段的值，这个时候就可以借助 agg 函数来实现。
select id,
max(score) as max_score,
min(score) as min_score,
avg(vote_count) as avg_count
from movie
group by id
对应的 Pandas 操作：
agg_pd = movie_pd.groupby('id').agg({
'score': [ np.max, np.min ], 'vote_count': np.mean
}).reset_index()
部分输出如下：
id vote_count score
mean amax amin
0 1291543 265547.0 7.9 7.9
1 1291545 247248.0 8.7 8.7
2 1291546 629403.0 9.5 9.5
3 1291548 274956.0 8.9 8.9
4 1291549 453695.0 9.2 9.2
虽然以上是 DataFrame 格式，但是列名看起来有点奇怪，输出一下看看：
print(agg_pd.columns)
for temp in agg_pd.columns:
print(temp)
结果如下：
MultiIndex(levels=[[u'vote_count', u'score', u'id'], [u'amax', u'amin', u'mean', u'']], labels=[[2, 0, 1, 1], [3, 2, 0, 1]])
('id', '')
('vote_count', 'mean')
('score', 'amax')
('score', 'amin')
是一个复合索引，单独来看的话，每个列名都是一个元组，接下来对列名重命名，元组的元素之间用下划线连接：
agg_pd.columns = agg_pd.columns.map('_'.join)
print(app_pd.head())
输出如下：
id_ vote_count_mean score_amax score_amin
0 1291543 265547.0 7.9 7.9
1 1291545 247248.0 8.7 8.7
2 1291546 629403.0 9.5 9.5
3 1291548 274956.0 8.9 8.9
4 1291549 453695.0 9.2 9.2
id 后面也会有一个下划线，不够美观，所以也可以这么处理，如果元组的第二个元素为空就不加下划线：
agg_pd.columns = ['%s%s' % (a, '_%s' % b if b else '') for a, b in agg_pd.columns]
print(agg_pd.head())
当然也可以实现多字段分组，比如：
select category, id,
avg(score) as avg_score,
max(vote_count) as max_count
from movie
group by category, id
对应的 Pandas 操作如下：
print movie_pd.groupby(['category', 'id']).agg({
'score': np.mean, 'vote_count': np.max
}).reset_index()
如果需要对分组结果进行排序的话，使用 sort_values( ) 函数
比如按照 score 降序排列，可以写成：
print movie_pd.groupby(['category', 'id']).agg({
'score': np.mean, 'vote_count': np.mean
}).reset_index().sort_values('score', ascending = False)
划重点
- groupby( ) 分组运算
- reset_index( ) 重置索引并可以更改列名
- agg( ) 辅助多字段分组
- sort_values( ) 按照字段排序
网友评论