一、前言
Pandas中的常见数据结构：
Series，1维序列，可视作为没有column名的、只有一个column的DataFrame；
DataFrame，同Spark SQL中的DataFrame一样，其概念来自于R语言，为多column并schema化的2维结构化数据，可视作为Series的容器（container）；
Panel，为3维的结构化数据，可视作为DataFrame的容器；
当然还有更高维的。
DataFrame是最常见的。（本文借用一个教程中的初始数据，必要时用自己的数据。）
1.创建
df = pd.DataFrame({'total_bill': [16.99, 10.34, 23.68, 23.68, 24.59],
'tip': [1.01, 1.66, 3.50, 3.31, 3.61],
'sex': ['Female', 'Male', 'Male', 'Male', 'Female']})
2.导入
pandas支持从很多数据中导入数据。这里介绍从xlsx文件导入
excel_name=r"C:\Users\Lykit01\Desktop\test.xlsx"
excel=pd.read_excel(excel_name,sheet_name=None)
data0=excel["词表"]
sheet_name选择None就会导入所有sheet，或者可以指定sheet名如sheet1、"test"
3.导出
data.to_excel(r"C:\Users\Lykit01\Desktop\needforcheck.xlsx")
4.panel转DataFrame
Panel在未来的版本中可能不会支持了，可以用to_frame方法转置为二维的，转化为二维的也非常直观。items是横向的，即df(DataFrame)中的列。
hpp=pd.Panel(hptable,major_axis=fnl_phon,minor_axis=tone_phon,items=init_phon).to_frame()
三维的二维呈现
二、类SQL的pandas操作
（1）select
loc，基于列label，可选取特定行（根据行index）；
iloc，基于行/列的position；
df.loc[1:3, ['total_bill', 'tip']]
df.loc[1:3, 'tip': 'total_bill']
df.iloc[1:3, [1, 2]]
df.iloc[1:3, 1: 3]
at，根据指定行index及列label，快速定位DataFrame的元素；
iat，与at类似，不同的是根据position来定位的；
df.at[3, 'tip']
df.iat[3, 1]
ix，为loc与iloc的混合体，既支持label也支持position；
df.ix[1:3, [1, 2]]
df.ix[1:3, ['total_bill', 'tip']]
还可以直接选取：
df[1: 3]
df[['total_bill', 'tip']]
注意：直接选取是可以直接改变数据库中的值的。有时pandas会给出提示，尽量使用loc、at等不改变原始值的方法。
（2）where
基本方法为df[df[column] boolean expr]
df[df['sex'] == 'Female']
df[df['total_bill'] > 20]
# or
df.query('total_bill > 20')
and,or,in,not等逻辑关键词有不同的写法，分别为&,|,.isin,-
# and
df[(df['sex'] == 'Female') & (df['total_bill'] > 20)]
# or
df[(df['sex'] == 'Female') | (df['total_bill'] > 20)]
# in
df[df['total_bill'].isin([21.01, 23.68, 24.59])]
# not
df[-(df['sex'] == 'Male')]
df[-df['total_bill'].isin([21.01, 23.68, 24.59])]
# string function
df = df[(-df['app'].isin(sys_app)) & (-df.app.str.contains('^微信\d+$'))]
(3)distinct
drop_duplicates根据某列对dataframe进行去重：
df.drop_duplicates(subset=['sex'], keep='first', inplace=True)
包含参数：
subset，为选定的列做distinct，默认为所有列；
keep，值选项{'first', 'last', False}，保留重复元素中的第一个、最后一个，或全部删除；
inplace ，默认为False，返回一个新的dataframe；若为True，则返回去重后的原dataframe
如果是针对Series，可以用unique
df["sex"].unique()
（4）group
group一般会配合合计函数（Aggregate functions）使用，比如：count、avg等。Pandas对合计函数的支持有限，有count和size函数实现SQL的count：
df.groupby('sex').size()
df.groupby('sex').count()
df.groupby('sex')['tip'].count()
对于多合计函数，
select sex, max(tip), sum(total_bill) as total
from tips_tb
group by sex;
实现在agg()中指定dict：
df.groupby('sex').agg({'tip': np.max, 'total_bill': np.sum})
# count(distinct **)
df.groupby('tip').agg({'sex': pd.Series.nunique})
如果只想得到计数而不用管其他列，可以用简便的方法：
df["sex"].value_counts()
如果不想把item当作index，并且把count列命名为自己想要的列名，可以这么写：
df.groupby(["sex"],as_index=False)["sex"].agg({"sexcount":"count"})
(5)as
SQL中使用as修改列的别名，Pandas也支持这种修改：
# first implementation
df.columns = ['total', 'pit', 'xes']
# second implementation
df.rename(columns={'total_bill': 'total', 'tip': 'pit', 'sex': 'xes'}, inplace=True)
其中，第一种方法的修改是有问题的，因为其是按照列position逐一替换的，如果数量超出了原有的列名数量，会报错。尽量用第二种。
如果是中间删除了一些行，index的数字出现了空缺，可以重新索引。
data=data.reset_index(drop=True)#重新排索引，把中间之前删掉的索引补回来
(6)join
# 1.
df.join(df2, how='left'...)
# 2.
pd.merge(df1, df2, how='left', left_on='app', right_on='app')
第一种方法是按DataFrame的index进行join的，而第二种方法才是按on指定的列做join。Pandas满足left、right、inner、full outer四种join方式。
(7)order
Pandas中支持多列order，并可以调整不同列的升序/降序，有更高的排序自由度：
df.sort_values(['total_bill', 'tip'], ascending=[False, True])
(8)top
对于全局的top：
df.nlargest(3, columns=['total_bill'])
对于分组top，MySQL的实现（采用自join的方式）：
select a.sex, a.tip
from tips_tb a
where (
select count(*)
from tips_tb b
where b.sex = a.sex and b.tip > a.tip
) < 2
order by a.sex, a.tip desc;
Pandas的等价实现，思路与上类似：
# 1.
df.assign(rn=df.sort_values(['total_bill'], ascending=False)
.groupby('sex')
.cumcount()+1)\
.query('rn < 3')\
.sort_values(['sex', 'rn'])
# 2.
df.assign(rn=df.groupby('sex')['total_bill']
.rank(method='first', ascending=False)) \
.query('rn < 3') \
.sort_values(['sex', 'rn'])
(9)replace
replace函数提供对dataframe全局修改，亦可通过where条件进行过滤修改（搭配loc）：
# overall replace
df.replace(to_replace='Female', value='Sansa', inplace=True)
# dict replace
df.replace({'sex': {'Female': 'Sansa', 'Male': 'Leone'}}, inplace=True)
# replace on where condition
df.loc[df.sex == 'Male', 'sex'] = 'Leone'
(10)其他
concat，可以直接相加得到新列
mu=df["total_bill"]+df["tip"]
(11)自定义
除了上述SQL操作外，Pandas提供对每列/每一元素做自定义操作，为此而设计以下三个函数:
map(func)，为Series的函数，DataFrame不能直接调用，需取列后再调用；
apply(func)，对DataFrame中的某一行/列进行func操作；
applymap(func)，为element-wise函数，对每一个元素做func操作
df['tip'].map(lambda x: x - 1)
df[['total_bill', 'tip']].apply(sum)
df.applymap(lambda x: x.upper() if type(x) is str else x)
网友评论