pandas复习笔记

s4 = s4.drop('e')  # 删除索引为 e 的值
s4

s4.add(s3)#对应相加，无此项则设为NaN
s4.sub(s3)#对应相减，无此项则设为NaN
s4.mul(s3)#对应相乘，无此项则设为NaN
s4.div(s3)#Series 的除法运算是按照索引对应计算，如果索引不同则填充为 NaN（空值）。
s4.median()#求中位数
s4.sum()#求和
s4.max()#求最大值
s4.min()#求最小值

#通过 NumPy 数组创建 DataFrame
dates = pd.date_range('today',periods=6)
num_arr = np.random.randn(6,4)
columns = ['A','B','C','D']
df1 = pd.DataFrame(num_arr,index=dates,columns=columns)
df1
#查看 DataFrame 的数据类型
df2.dtypes

#预览 DataFrame 的前 5 行数据此方法对快速了解陌生数据集结构十分有用
df2.head()
#查看 DataFrame 的后 3 行数据
df2.tail(3)
#查看 DataFrame 的数值
df2.values
#查看 DataFrame 的统计数据
df2.describe()
#DataFrame 转置操作
df2.T
# 对 DataFrame 进行按列排序
df2.sort_values(by='age')  # 按 age 升序排列
#对 DataFrame 数据切片
df2[:3]#真是反人类啊，是横向的索引，又不能单独行
df2.age  # 等价于 df2['age']
#对 DataFrame 通过标签查询
df2[['age','animal']]
#对 DataFrame 通过位置查询
df2.iloc[1:3]
#DataFrame 副本拷贝
df3 = df2.copy()
df3
# 判断 DataFrame 元素是否为空
df3.isnull()  # 如果为空则返回为 True
#添加列数据
num = pd.Series([0, 1, 2, 3, 4, 5, 6, 7, 8, 9], index=df3.index)
df3['No.'] = num  # 添加以 'No.' 为列名的新数据列
df3
#DataFrame 求平均值操作
df3.mean()
#将字符串转化为小写字母| 将字符串转化为大写字母
string = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca',
                    np.nan, 'CABA', 'dog', 'cat'])
print(string)
string.str.lower()
string.str.upper()
#对缺失值进行填充
df4 = df3.copy()
print(df4)
df4.fillna(value=3)
#删除存在缺失值的行
df5 = df3.copy()
print(df5)
df5.dropna(how='any')
df5.dropna(how='all')

#DataFrame 按指定列对齐
left = pd.DataFrame({'key': ['foo1', 'foo2'], 'one': [1, 2]})
right = pd.DataFrame({'key': ['foo2', 'foo3'], 'two': [4, 5]})

print(left)
print(right)

# 按照 key 列对齐连接，只存在 foo2 相同，所以最后变成一行
pd.merge(left, right, on='key')

#时间序列索引
dti = pd.date_range(start='2018-01-01', end='2018-12-31', freq='D')
s = pd.Series(np.random.rand(len(dti)), index=dti)
s
#统计s 中每一个周三对应值的和
# 周一从 0 开始
s[s.index.weekday == 2].sum()
#统计s中每个月值的平均值
s.resample('M').mean()

# 将 Series 中的时间进行转换（秒转分钟）
s = pd.date_range('today', periods=100, freq='S')

ts = pd.Series(np.random.randint(0, 500, len(s)), index=s)

ts.resample('Min').sum()#什么意思没搞明白

#UTC 世界时间标准
s = pd.date_range('today', periods=1, freq='D')  # 获取当前时间
ts = pd.Series(np.random.randn(len(s)), s)  # 随机数值
ts_utc = ts.tz_localize('UTC')  # 转换为 UTC 时间
ts_utc
ts_utc.tz_convert('Asia/Shanghai')#转换为上海所在时区

#不同时间表示方式的转换
rng = pd.date_range('1/1/2018', periods=5, freq='M')
ts = pd.Series(np.random.randn(len(rng)), index=rng)
print(ts)
ps = ts.to_period()
print(ps)
ps.to_timestamp()


#Series 多重索引
letters = ["A",'B','C']
numbers = list(range(10))

mi = pd.MultiIndex.from_product([letters,numbers])
s = pd.Series(np.random.rand(30),index=mi)
s

s.loc[:, [1, 3, 6]]# 查询索引为 1，3，6 的值

s.loc[pd.IndexSlice[:'B',5:]]#多重索引 Series 切片

#根据多重索引创建 DataFrame
frame = pd.DataFrame(np.arange(12).reshape(6,2),
                     index=[list('AAABBB'),list('123123')],
                     columns=['hello','shiyanlou'])
frame

#多重索引设置列名称
frame.index.names = ['first','second']
frame
#DataFrame 多重索引分组求和
frame.groupby('first').sum()
#DataFrame 行列名称转换
frame.stack()
#索引转换
frame.unstack()



#DataFrame 多重条件查询，查找 age<3 且为 cat 的全部数据
df[(df['animal'] == 'cat') & (df['age'] <3)]

#DataFrame 按关键字查询
df3[df3['animal'].isin(['cat','dog'])]

#DataFrame 按标签及列名查询
df.loc[df.index[[3,4,8]],['animal','age']]

#按照 age 降序，visits 升序排列
df.sort_values(by=['age','visits'],ascending=[False,True])

#DataFrame 多值替换
df['priority'].map({'yes':True,'no':False})

# DataFrame 打包求和
df4.groupby('animal').sum()

#使用列表拼接多个 DataFrame
temp_df1 = pd.DataFrame(np.random.randn(5, 4))  # 生成由随机数组成的 DataFrame 1
temp_df2 = pd.DataFrame(np.random.randn(5, 4))  # 生成由随机数组成的 DataFrame 2
temp_df3 = pd.DataFrame(np.random.randn(5, 4))  # 生成由随机数组成的 DataFrame 3

print(temp_df1)
print(temp_df2)
print(temp_df3)

pieces = [temp_df1,temp_df2,temp_df3]
pd.concat(pieces)

#找出 DataFrame 表中和最小的列
df = pd.DataFrame(np.random.random(size=(5,10)),columns=list('abcdefghij'))
print(df)
df.sum().idxmin()

#DataFrame 中每个元素减去每一行的平均值
df = pd.DataFrame(np.random.random(size=(5, 3)))
print(df)
df.sub(df.mean(axis=1),axis=0)

#DataFrame 分组，并得到每一组中最大三个数之和
df = pd.DataFrame({'A': list('aaabbcaabcccbbc'),
                   'B': [12, 345, 3, 1, 45, 14, 4, 52, 54, 23, 235, 21, 57, 3, 87]})
print(df)
df.groupby('A')['B'].nlargest(3).sum(level=0)

#用透视表来进行数据聚合
#透视表的创建
df = pd.DataFrame({'A': ['one', 'one', 'two', 'three'] * 3,
                   'B': ['A', 'B', 'C'] * 4,
                   'C': ['foo', 'foo', 'foo', 'bar', 'bar', 'bar'] * 2,
                   'D': np.random.randn(12),
                   'E': np.random.randn(12)})

print(df)

pd.pivot_table(df, index=['A', 'B'])

#透视表按指定行进行聚合
pd.pivot_table(df, values=['D'], index=['A', 'B'])

# 透视表聚合方式定义
pd.pivot_table(df, values=['D'], index=['A', 'B'], aggfunc=[np.sum, len])

#透视表利用额外列进行辅助分割
#D 列按照 A,B 列进行聚合时，若关心 C 列对 D 列的影响，可以加入 columns 值进行分析。
pd.pivot_table(df, values=['D'], index=['A', 'B'],
               columns=['C'], aggfunc=np.sum)

#透视表的缺省值处理
在透视表中由于不同的聚合方式，相应缺少的组合将为缺省值，可以加入 fill_value 对缺省值处理。

#信息区间划分
df = pd.DataFrame({'name': ['Alice', 'Bob', 'Candy', 'Dany', 'Ella',
                            'Frank', 'Grace', 'Jenny'], 'grades': [58, 83, 79, 65, 93, 45, 61, 88]})


def choice(x):
    if x > 60:
        return 1
    else:
        return 0


df.grades = pd.Series(map(lambda x: choice(x), df.grades))
df

#数据去重
#尝试将 A 列中连续重复的数据清除。
df = pd.DataFrame({'A': [1, 2, 2, 3, 4, 5, 5, 5, 6, 7, 7]})
df.loc[df['A'].shift() != df['A']]