Python的数据聚类

Python 的 groupby() 函数和SQL中的很像，都是聚类函数，按照一定的function将一组数据集合成一个group,返回成Series。

Groupby 函数的基本理念

Paste_Image.png

Groupby 具体函数

Series.groupby(*by=None*, *axis=0*, *level=None*, *as_index=True*, *sort=True*, *group_keys=True*, *squeeze=False*, ***kwargs*)
函数的具体解释

Groupby Split 阶段

1. split by row

grouped = df['data'].groupby(df['key'])

2. split by column

import pandas as pd
traffic=pd.read_csv("test.csv")
col_mapping = {'PC_UV':'UV','M_UV':'UV','APP_UV':'UV','WQ_UV':'UV','PC_PV':'PV',
           'APP_sumbit':'Submit','PC_Visits':'Visit','Total':'Total'}
by_column=traffic.groupby(col_mapping,axis=1)

3. index split

多重列Index

columns = pd.MultiIndex.from_arrays([['US','US','US','JP','JP'],[1,3,5,1,3]],names=['cty','tenor'])
hier_df = DataFrame(np.random.randn(4,5),columns=columns)
print(hier_df)
print(hier_df.groupby(level='tenor',axis=1).count())

多重行Index

traffic1=traffic.set_index(['Week','weektype'])
print(traffic1)
print(traffic1.groupby(level='weektype').count())

4.function split

目前还没想到什么好的应用场景，只能先举书中的例子了

people = DataFrame(np.random.randn(5,5),columns=['a','b','c','d','e'],
                   index=['Li','Zhao','Qian','Sun','Zhou'])
print(people)
print(people.groupby(len).sum())

Groupby Apply 阶段

Aggregation

将一个维度的数组降至一个数值的情况

1.经常用在Groupby 类型中的函数

Paste_Image.png

2.自定义函数

def peak_to_peak(arr):
    return arr.max()-arr.min()
grouped = people.groupby(len)
print(grouped.agg(peak_to_peak))

3.多函数应用

(1) 单排数据多函数~复合index形式

tips=pd.read_csv("tips.csv")
print(tips)
tips['tip_pct']=tips['tip']/tips['total_bill']
print(tips[:6])
grouped =tips.groupby(['sex','smoker']) #用sex、smoker分组
grouped_pct=grouped['tip_pct']
print(grouped_pct.agg('mean')) # 取均值of tip_pct
print(grouped_pct.agg([('foo','mean'),('bar',np.std)])) # 平均值列为foo,标准差列为bar

（2）多排数据多函数

functions =['count','mean','max']~复合index形式
result = grouped['tip_pct','total_bill'] # 取tip_pct 和 total_bill两个列取多个函数
print(result.agg(functions))
print(grouped.agg({'tip_pct':['min','max','mean','std'],'size':'sum'})) # tip_pct取多个函数，size取sum

（3） 单index形式

print(tips.groupby(['sex','smoker'],as_index=False).mean())

Transform

transform 将一个函数应用于每个组，并将结果放置在相应的位置上。适用可传播的函数比如mean,或者transform之后和原来的frame有相同的大小

df1=df.groupby('key').transform(np.mean)
df2=df.groupby('key').mean()
print(df1)
print(df2)

df:

|data |key
---|---|---
0 |0 |A
1 |5 |B
2 |10 |C
3 |5 |A
4 |10 |B
5 |15 |C
6 |10 |A
7 |15 |B
8 |20 |C

df.groupby('key').transform(np.mean)

index	data
0	5
1	10
2	15
3	5
4	10
5	15
6	5
7	10
8	15

df.groupby('key').mean()

index	data
key
A	5
B	10
C	15

Apply

Apply是一个比较普遍的函数，将对象分割成区块，每个区块apply一个函数，再将结果粘合起来

def top(df,n=5,column='tip_pct'):
    return  df.sort_values(by=column)[-n:]

print(top(tips,n=6))

print(tips.groupby('smoker').apply(top)) #Apply函数应用排序功能，agg函数此时就不可以应用
##print(tips.groupby('smoker').agg(top))
print(tips.groupby(['smoker','day']).apply(top,n=1,column='total_bill')) #将apply的函数参数强行改成 n=1,按照total_bill排序

f = lambda x:x.describe()
print(grouped.apply(f))  #更加快捷的应用在每一列

print(tips.groupby('smoker').apply(top))
print(tips.groupby('smoker',group_keys=False).apply(top))  #离开复合index情况

Pivot Tables and Cross-Tabulation

Pivot Tables 类似excel中的数据透视表，思路什么的完全一致。

print(tips.pivot_table('size',index=['time','sex','smoker'],columns='day',aggfunc='sum',fill_value=0，margins=True))
#横轴为time,sex,smoker ，纵轴为day，算size总和，如果为空,填0,同时算总和

Paste_Image.png