pandas的技巧

1、DataFrame遍历行和新增行示例

import pandas as pd
df1 = pd.DataFrame([['1,2,3', 'a'], ['4', 'b']], columns=list('AB'))
#######
add_df = pd.DataFrame(columns=df1.columns)
for index, row in df1.iterrows():
  a_list = row['A'].split(',')
  if len(a_list) > 1:
    for i in a_list:
      row1 = row.copy(deep=True)
      row1['A'] = i
      add_df.loc[len(add_df.index)] = row1

df1 = df1.append(add_df)

2、记录数统计

import pandas as pd
df1 = pd.DataFrame([['1,2,3', 'a'], ['4', 'b'], ['4', 'b1']], columns=list('AB'))

df1['B'].value_counts()

3、重复记录清理

import pandas as pd
df1 = pd.DataFrame([['1,2,3', 'a'], ['4', 'b'], ['4', 'b'], ['4', 'b1']], columns=list('AB'))

df1 = df1.drop_duplicates(subset=['A','B'], keep='last')

4、读取Json文件

import pandas as pd
with open('data/net.json') as f:
  json_str = f.read()

df1 = pd.read_json(json_str, orient='records')

5、pandas 打印数据的选项

使用 pandas.set_option来控制选项，官方API参考

import pandas as pd
#显示所有列
pd.set_option('display.max_columns', None)
#显示5列
pd.set_option('display.max_columns', 5)
#显示所有行
pd.set_option('display.max_rows', None)
#显示5行
pd.set_option('display.max_rows', 5)
#设置行的宽度
#设置value的显示长度为100，默认为50
pd.set_option('display.max_colwidth',100)