20 Pandas的stack和pivot实现数据透视

Pandas的stack和pivot实现数据透视

1. 经过统计得到多维度指标数据
2. 使用unstack实现数据二维透视
3. 使用pivot简化透视
4. stack、unstack、pivot的语法

1. 经过统计得到多维度指标数据

非常常见的统计场景，指定多个维度，计算聚合后的指标

实例：统计得到“电影评分数据集”，每个月份的每个分数被评分多少次：（月份、分数1~5、次数）

import pandas as pd
import numpy as np
%matplotlib inline

df = pd.read_csv(
    "./datas/movielens-1m/ratings.dat",
    header=None,
    names="UserID::MovieID::Rating::Timestamp".split("::"),
    sep="::",
    engine="python"
)

df.head()

.dataframe tbody tr th:only-of-type { vertical-align: middle; } <pre><code>.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; } </code></pre>

	UserID	MovieID	Rating	Timestamp
0	1	1193	5	978300760
1	1	661	3	978302109
2	1	914	3	978301968
3	1	3408	4	978300275
4	1	2355	5	978824291

# 时间戳转化为时间
df["pdate"] = pd.to_datetime(df["Timestamp"], unit='s')

df.head()

.dataframe tbody tr th:only-of-type { vertical-align: middle; } <pre><code>.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; } </code></pre>

	UserID	MovieID	Rating	Timestamp	pdate
0	1	1193	5	978300760	2000-12-31 22:12:40
1	1	661	3	978302109	2000-12-31 22:35:09
2	1	914	3	978301968	2000-12-31 22:32:48
3	1	3408	4	978300275	2000-12-31 22:04:35
4	1	2355	5	978824291	2001-01-06 23:38:11

df.dtypes

    UserID                int64
    MovieID               int64
    Rating                int64
    Timestamp             int64
    pdate        datetime64[ns]
    dtype: object


# 实现数据统计
df_group = df.groupby([df["pdate"].dt.month, "Rating"])["UserID"].agg(pv=np.size)

df_group.head(20)

.dataframe tbody tr th:only-of-type { vertical-align: middle; } <pre><code>.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; } </code></pre>

		pv
pdate	Rating
1	1	1127
2	2608
3	6442
4	8400
5	4495
2	1	629
2	1464
3	3297
4	4403
5	2335
3	1	466
2	1077
3	2523
4	3032
5	1439
4	1	1048
2	2247
3	5501
4	6748
5	3863

对这样格式的数据，我想查看按月份，不同评分的次数趋势，是没法实现的

需要将数据变换成每个评分是一列才可以实现

2. 使用unstack实现数据二维透视

目的：想要画图对比按照月份的不同评分的数量趋势

df_stack = df_group.unstack()
df_stack

.dataframe tbody tr th:only-of-type { vertical-align: middle; } <pre><code>.dataframe tbody tr th { vertical-align: top; } .dataframe thead tr th { text-align: left; } .dataframe thead tr:last-of-type th { text-align: right; } </code></pre>

	pv
Rating	1	2	3	4	5
pdate
1	1127	2608	6442	8400	4495
2	629	1464	3297	4403	2335
3	466	1077	2523	3032	1439
4	1048	2247	5501	6748	3863
5	4557	7631	18481	25769	17840
6	3196	6500	15211	21838	14365
7	4891	9566	25421	34957	22169
8	10873	20597	50509	64198	42497
9	3107	5873	14702	19927	13182
10	2121	4785	12175	16095	10324
11	17701	32202	76069	102448	67041
12	6458	13007	30866	41156	26760

df_stack.plot()

    <matplotlib.axes._subplots.AxesSubplot at 0x1ba09b0ce48>

# unstack和stack是互逆操作
df_stack.stack().head(20)

.dataframe tbody tr th:only-of-type { vertical-align: middle; } <pre><code>.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; } </code></pre>

		pv
pdate	Rating
1	1	1127
2	2608
3	6442
4	8400
5	4495
2	1	629
2	1464
3	3297
4	4403
5	2335
3	1	466
2	1077
3	2523
4	3032
5	1439
4	1	1048
2	2247
3	5501
4	6748
5	3863

3. 使用pivot简化透视

df_group.head(20)

.dataframe tbody tr th:only-of-type { vertical-align: middle; } <pre><code>.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; } </code></pre>

		pv
pdate	Rating
1	1	1127
2	2608
3	6442
4	8400
5	4495
2	1	629
2	1464
3	3297
4	4403
5	2335
3	1	466
2	1077
3	2523
4	3032
5	1439
4	1	1048
2	2247
3	5501
4	6748
5	3863

df_reset = df_group.reset_index()
df_reset.head()

.dataframe tbody tr th:only-of-type { vertical-align: middle; } <pre><code>.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; } </code></pre>

	pdate	Rating	pv
0	1	1	1127
1	1	2	2608
2	1	3	6442
3	1	4	8400
4	1	5	4495

df_pivot = df_reset.pivot("pdate", "Rating", "pv")

df_pivot.head()

.dataframe tbody tr th:only-of-type { vertical-align: middle; } <pre><code>.dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; } </code></pre>

Rating	1	2	3	4	5
pdate
1	1127	2608	6442	8400	4495
2	629	1464	3297	4403	2335
3	466	1077	2523	3032	1439
4	1048	2247	5501	6748	3863
5	4557	7631	18481	25769	17840

df_pivot.plot()


    <matplotlib.axes._subplots.AxesSubplot at 0x1ba09db6d48>

pivot方法相当于对df使用set_index创建分层索引，然后调用unstack

4. stack、unstack、pivot的语法

stack：DataFrame.stack(level=-1, dropna=True)，将column变成index，类似把横放的书籍变成竖放

level=-1代表多层索引的最内层，可以通过==0、1、2指定多层索引的对应层

unstack：DataFrame.unstack(level=-1, fill_value=None)，将index变成column，类似把竖放的书籍变成横放

pivot：DataFrame.pivot(index=None, columns=None, values=None)，指定index、columns、values实现二维透视

本文使用 文章同步助手 同步