pandas有两类数据对象：dataframe和series。Series是一个带标签的一维数组，通常索引在左，值在右。dataframe是一个带标签的二维数组，可以理解成series的字典，共用索引标签。重点记录dataframe的相关用法：
一.创建dataframe
1.如下图所示，主要是要Dataframe方法结合numpy函数可快速创建，以下演示了三种不同的创建方法：
#1.创建dataframe格式
import pandas as pd
import numpy as np
df1=pd.DataFrame(np.random.randn(4,4),index=np.arange(4),columns=list('ABCD'))
df2=pd.DataFrame(np.arange(16).reshape(4,4),index=[1,2,3,4],columns=["A","B","C","D"])
df3=pd.DataFrame({"A":1,"B":2,"C":pd.date_range('20200201',periods=4),"D":pd.Series(1,index=[1,2,3,4])})
打印结果
二.查看数据
#查看数据
df1.head(1) #1查看头部第一行数据
df1.dtypes #2查看列类型
df2.columns #2查看列名
df2.to_numpy() #3用numpy方法快速查看数据
df2.describe() #4查看统计摘要
df2.T #5行列互换，转置
df2.sort_index(axis=1,ascending=False) #6按列轴大小排序
df2.sort_values(by="B") #7按列的B轴数值大小排序
1.首尾数据：head()/tail()
df1.head(1) / df1.tail(2)
2.显示索引、列名、列类型
df1.index / df1.columns / df1.dtypes
个人觉得：查看列类型在数据清洗中应该会用的比较多
image
3.查看列表数据:df2.to_numpy()
可以快速浏览dataframe对象中底层numpy数据，以numpy格式输出
4.查看统计摘要：describe()
包含NAN值统计概要，以描述数据离散和形状。其中表示所在列的：count数量，mean为均值，std为标准差，min最小值，max:最小值，20%、50%、75%为20、50、75的百分位数，50%也可以理解为中位数。
image
5.转置数据：
df2.T： 行列数据互换
image
6.按轴排序
df1.sort_index(axis=1,ascending=False)
即将表格的数据按照行、列轴上数值的大小排序后展示，当axis=1时，表示按照列轴排序，axis=0时，表示按照行轴排序，ascending为False表示按照倒序排列。
image
7.按值排序
df2.sort_values(by="B")
表示按照B轴的数值大小排序，默认为正序，可通过ascending设置倒序
image
三.筛选数据
1.按列筛选
筛选整列：df2['A'] df2.A 筛选两列：df2[['A','D']]
2.按切片筛选(按行筛选)
筛选行数据：df2[:2] ，它与标签筛选的区别在于不包含该结束点，如本例，只包行0,1的行的数据，不包含2的数据。 而标签会包行节点数据。
#按列和切片筛选数据
df2['A'] #1.按筛选列A的数据
df2[['A','D']] #1.按筛选列A、D的数据
print(df2[2:3]) #2.按索引行位置2的筛选数据
print(df2.loc[2:3])#3.用loc标签按索引行位置2、3筛选数据
image
3.按标签筛选(按行筛选)
筛选行数据：df2.loc[2:3]
筛选某几行某几列数据：df2.loc[2:3,['A','B']]
返回降维数据：df2.loc[1,['A','B']]
提取标量值：df2.loc[index2[0],'A']，其中可以将index理解为一个series。
#按标签筛选
print(df2.loc[2:3,['A','B']]) #3.用loc标签按索引行位置2、3和列A、B筛选数据
print(df2.loc[1,['A','B']]) #3.用loc标签按索引行位置1和列A、B筛选数据，返回Series一维数据
A = df2.A #df2.A与df2["A"]方法等价
print(df2.loc[A[2],'A']) #3.提取标量值，用df2.A中的标量4数据，用loc标签按索引行位置4和列A的数据，返回该位置的标量值
image
4.布尔型筛选
布尔型筛选主要是将True值的内容筛选出来，下列两例，分别是逻辑符号、isin识别数值、字符串类型的方法。
#布尔索引
df2[df2.A>8] #4.返回df2.A>8布尔值为True的筛选结果数据
df2['E']=list('jsky') #对df2中的E行赋值
df2[df2['E'].isin(list('ky'))] #4.isin函数返回字符串匹配的布尔值为True的结果
image
5.位置筛选
主要使用iloc标签通过行列不同的位置切片获取到自己期望的数据，如下：
筛选某行数据：df2.iloc[:2]
筛选某行某列数据：df2.iloc[:2,0:2]
筛选具体的数值：df2.iloc[1,1]或df2.iat[1,1]
#位置索引
print(df2.iloc[:2]) #5.筛选索引行位置0、1的数据
print(df2.iloc[:2,0:2]) #5.筛选索引行位置0、1，列位置0、1的数据
print(df2.iloc[1,1]) #5.筛选索引行位置1，列位置1的数据
print(df2.iat[1,1]) #5.筛选索引行位置1，列位置1的数据
image
四、赋值
#赋值
df2['E']="K" #按列赋值
df2.iloc[0,0]=1000 #按位置赋值
df2.at[df2.index[0],"B"]=2000 #按标签赋值
通过将数据筛选出来后，进行赋值，如下例子：
image
五、缺失值
常见的缺失值处理有两种方法：忽略缺失值dropna，对缺失值重新赋值fillna.下面将通过reindex方法创建一个新的dataframe用于练习缺失值的处理，如图所示。（reindex：重建索引可更改、输出、添加指定轴索引，返回数据副本，不更改原数据）
忽略缺失值：df4.dropna(how='any')
缺失值重新赋值：df4.fillna('5')
#缺失值
df4=df2.reindex(index=[0,1,2,3,4,5],columns=list(df2.columns)+['E'])
df4.loc[1:3,'E']=1
df4.dropna(how='any')#忽略任何一行缺失值数据
df4.fillna('5')#对含有缺失值的数据重新赋值
df4.isna()#布尔关系
image
六、运算
一般情况下，运算时排除缺失值；运算时，axis默认为0，表示按列计算；axis=1表示按行计算，pandas自动沿指定维度广播。以mean(均值)和sum(求和)为例。
#运算
print(df2.mean())
df2.sum(axis=1)
image
| 函数名称 | 说明 |
|---|---|
| pd.mean() | pd.mean(0)或axis=0默认表示把dataframe的列和求平均，按行扩展；pd.mean(1)表示把dataframe的行和求平均；skipna:统计时是否排除缺失值，默认值为True |
| pd.sum() | pd.sum(0)默认表示把dataframe的列求和，按行扩展pd.sum(1)默认表示把dataframe的行求和 |
| pd.count() | 非NA值的数量，0表示各列计数；1表示各行的计数值 |
| Pd.describe() | 针对Series或各dataframe列计算汇总统计 |
| pd.min()/pd.max() | 最小值或最大值，0表示各列的最大值，1表示各行的最大值 |
| pd.idxmin()/pd.idxmax() | 获得到最小值或最大值的索引值，0表示各列，1表示各行 |
| pd.quantile() | 样本的分位数，0表示各列，1表示各行 |
| pd.median() | 值的算术中位数（50%分位数，2分位数，中位数）,0表示各列，1表示各行 |
| pd.mad() | 根据平均值计算绝对离差，0表示各列，1表示各行 |
| pd.var()/pd.std() | 样本值的方差/标准差，0表示各列，1表示各行 |
| pd.cumsum() | 默认按照行累加，即计算当前行与前面所有行之和 |
七、函数Apply
apply方法应用numpy自带的函数，自定义的函数等，其中axis默认为0表示按行计算，按列广播；axis=1表示按列计算，按行广播。按详见以下案例：
#函数
print(df2.apply(lambda X: X.max()-1,axis=1))
df2.apply(np.cumsum)
df2.cumsum(axis=1)
image
其中cumsum为按行累加，等价于df2.cumsum()方法，表示计算当前行与前面所有行之和。图上例子表示的正是按行累加，按列广播的效果。
八、直方图
直方图在统计学里表示数据的分布的趋势，通常用它来表示数据的变化趋势，在pandas中可以用value_counts()来表示series数据的出现频次，用mode()表示series和dataframe中的不重复的数据。
image
image
九、字符串的处理
1.字符串类型的定义：使用astype("string")方法，或在创建pandas对象时定义，如：dtype="string"或dtype=pd.StringDtype()
2.常见的字符串的处理有：str方法只适合series数据
去除空格【str.strip()、str.lstrip()、str.rstrip()】，大小写转换【str.lower()、str.upper()】,
字符串长度【str.len()】、统计字符串a出现的次数【str.count("a")】,是否是数字的布尔判断【str.isdigt()】、是否与某个字符串a匹配的布尔判断【str.match("a")】
十、合并（concat/merge/append）
1.结合-concat
把多串数组或Series组合在一起，成为dataframe
#合并-结合concat
df4=pd.DataFrame(np.random.randn(10,4))
pieces=[df4[:3],df4[3:7]]
pd.concat(pieces)
image
2.连接-merge
将两个表的数据连接在一起，有点像sql中的inner..join..的用法，根据连接关键字段将两个表的数据连接一起呈现，如下图所示
#连接join用法-merge，有点类似数据库的跨表查询
left=pd.DataFrame({"name":['Amily',"Jack"],"Country":["US","Canada"],"year":[12,22]})
right=pd.DataFrame({'name':["Amily","Amily"],"join_time":['2020-01-02',"2020-02-01"]})
print(left,"\n\n",right)
pd.merge(left,right,on="name")
image
3.追加-append
将一个数组，series或dataframe表格添加到另外一个dataframe表格上，如下图所示，注意：当数组和series追加是添加行数据，按照列的位置填入，若有超出的列或不足的列位置，用NA（np.nan、none）表示；当追加的数据是dataframe时，将会匹配列名，若无法匹配，则直接添加为新列，如下图所示
#追加append
df4.append(df2["B"])
df4.append(df2[["B","C"]])
image
十一、分组（groupby）
通过groupby()可以将dataframe中的某一列按类别分组，结合运算函数比如sum()，count()等函数就可以实现将表格按照分组计算的功能
image
十二、重塑和堆叠（stack）
Dataframe具有多重索引的功能，利用MultiIndexf方法可定义多个索引。而stack是将DataFrame的列标签压缩为行标签，unstack（）而是将多个行标签转换为列标签，其中unstack(0)，unstack(1)表示从顶级行标签到末级行标签进行转换。
image
image
十三、数据透视表
运用pd.pivot_table()方法可以对二维数据中的数据，按照需求快速建立新表，进行按照各维度快速分类计算，结合运算函数的方法，以便更好的了解数据规律。其中values为透视表中用来作为计算和展示的数据。
image
十四、时间序列（timeseries）
主要通过pd.to_timedate和pd.date_range将普通数据转化为时间类型的数据，生成时间类型的标量数据，在pandas中进行时间相关的计算。简单用法如下：
#转化其他类型的数据为时间戳
t1=pd.to_datetime(['2010-01-10','Jul 31, 2009','2020/10/1'])
t2=pd.to_datetime(pd.Series(['2020-02-10','Jul 31, 2009','2020/10/1']))
t3=pd.to_datetime("2020.10.1")
#date_range的defalut-freq
t12=pd.date_range(start="2020-01-01",periods=10)
十五、类别型（Categoricals）
1.astype("category):创建类别型的series数据
2.series.cat.categories:修改现有series中的类别名称
3.series.cat.set_categories:生成新的series类别名称
4.sort_values排序，是按照生成类别时的位置顺序来排的
4.groupby按类分组，如果空值的类也会显示出来，显示为0，如图
#类别型数据
#astype("category")创建类型数据
df=pd.DataFrame({"id":[1,2,3,4,5,6],
"raw_grade":["a","a","b","b","b","d"]})
#1.创建新的grade类，并对这个新的类按照raw_grade赋值，并将数据类型改
df["grade"]=df['raw_grade'].astype('category') 为category类型
print(df["grade"]) #打印该列出来，可以看到dtype为category类型，及其具体的类型值 ：Categories (3, object): [a, b, d]
#2.修改类型数据中的分类名称
df["grade"].cat.categories=["very good","good","very bad"] #series.cat.categories对grade列中的类别名称进行重定义
#3.建立grade1列使用Series.cat.set_categories方法将建立新类
df["grade1"]=df["grade"].cat.set_categories(["very bad","bad","very good","good"])
print(df["grade1"])#筛选该列series出来有4类，即定义的4类：Categories (4, object): [very bad, bad, very good, good]
#4.这里排序，是按照生成类别时的位置顺序来排的
print(df.sort_values(by="grade1") )
#5.分组的类如果有控制也会显示出来，显示为0
print(df.groupby("grade1").count())
用法打印结果
十六、可视化（plot）
#可视化
ts=pd.Series(np.random.randn(1000),index=pd.date_range("2018.01.01",periods=1000))
ts=ts.cumsum()
ts.plot() #plot绘制series的图形
#Dataframe绘制plot图表
df10=pd.DataFrame(np.random.randn(1000,4),index=pd.date_range("2018.01.01",periods=1000),columns=list("ABCD"))
df10 = df10.cumsum()
df10.plot()
Series和dataframe使用plot生成的图形
十七、数据输入 / 输出
1.CSV文件的读写：
#读取 CSV 文件数据：
pd.read_csv('foo.csv')
#写入CSV文件：
df10.to_csv('foo.csv')
2.Excel文件的读写：
#读取 Excel文件数据：
pd.read_excel('foo.xlsx',“sheet1”，index_col=None, na_values=['NA'])
#写入Excel文件：
df10.to_excel('foo.xlsx', sheet_name='Sheet1')
3.读取HDF5文件：HDF5是一种跨平台数据储存文件
#读取 HDF5文件数据：
pd.read_hdf('foo.h5', 'df')
#写入HDF5文件：
df.to_hdf('foo.h5', 'df')
网友评论