这个案例主要目的是转换json类型的数据，利用python和pandas方法进行计数。
step1:获取数据
将json格式数据转化成python对象
import json
path=r'D:\datasets\bitly_usagov\example.txt'#写自己的路径
records=[json.loads(line) for line in open(path,encoding='utf8')]
#小tips：json.load和json.loads的都是将json转换成python
#区别是：引用：https://zhuanlan.zhihu.com/p/373661877
records数据.png
step2纯python时区计数
1.获取时区+计数
time_zones=[rec['tz'] for rec in records if 'tz' in rec]#不进行判断则会遇到中断报错
#遍历时区使用字典进行存储计数
def get_counts(sequence):
counts={}
for x in sequence:
if x in counts:
counts[x]+=1
else:
counts[x]=1
return counts
#利用python中的高级工具，可以让过程更简洁
from collections import defaultdict
def getcounts2(sequence):
counts=defaultdict(int)#初始值为1，格式为字典
for x in sequence:
counts[x]+=1
return counts
#应用函数
counts=get_counts(time_zones)
#看某个时区的计数是多少
counts['American/New_York']
2.对以上字典形式进行计数
#定义一个排序函数，得到排序前10的时区
def top_counts(count_dict,n=10):
value_key_pairs=[(count,tz) for tz,count in count_dict.items()]#items()表示字典的key＋values
value_key_pairs.sort()#默认对值进行排序
return value_key_pairs[-n:]
top_counts(counts)
3.更更简单的方法，直接用python标准库的collections.Counters类
从仅获取时区后开始
from collections import Counter
counts=Counter(time_zones)#以字典形式存储计数
counts.most_commom(10)#由高到低排列
时区排序.png
step3 使用pandas计数
#使用value_counts()函数进行计数
import pandas as pd
frame=pd.DataFrame(records)#相当于把字典的每个Key作为列标签
tz_counts=frame['tz'].value_counts()#直接使用value_counts()函数进行计数
tz_counts[:10]#选取前10名
#缺失值进行填充
clean_tz=frame['tz'].fillna('Missing')
clean_tz[clean_tz==' ']='unknow'#按条件获取值
step4 可视化 seaborn
import seaborn as sns
sns.barplot(y=subset.index,x=subset.values)#barplot柱状图 catplot 散点图
5.补充一些语句
#类似if的语句
np.where(条件，条件为真时的值，条件为假时的值)
#某个字段是否有某值
frame['a'].str.contains('w')#判断a列的值里面是否有‘w’字
#分组计数(grouoby)时用size()
#列标签变成一栏
data.reset_index()
网友评论