《利用Python进行数据分析》——案例1从Bitly获取数据

这个案例主要目的是转换json类型的数据，利用python和pandas方法进行计数。
step1:获取数据

将json格式数据转化成python对象

import json
path=r'D:\datasets\bitly_usagov\example.txt'#写自己的路径
records=[json.loads(line) for line in open(path,encoding='utf8')]
#小tips：json.load和json.loads的都是将json转换成python 
#区别是：引用：https://zhuanlan.zhihu.com/p/373661877

records数据.png

step2纯python时区计数
1.获取时区+计数

time_zones=[rec['tz'] for rec in records if 'tz' in rec]#不进行判断则会遇到中断报错
#遍历时区使用字典进行存储计数
def get_counts(sequence):
  counts={}
  for x in sequence:
      if x in counts:
         counts[x]+=1
     else:
         counts[x]=1
  return counts
#利用python中的高级工具，可以让过程更简洁
from collections import  defaultdict
def getcounts2(sequence):
   counts=defaultdict(int)#初始值为1，格式为字典
   for x in sequence:
       counts[x]+=1
   return counts
#应用函数
counts=get_counts(time_zones)
#看某个时区的计数是多少
counts['American/New_York']

2.对以上字典形式进行计数

#定义一个排序函数，得到排序前10的时区
def top_counts(count_dict,n=10):
  value_key_pairs=[(count,tz) for tz,count in count_dict.items()]#items()表示字典的key＋values
  value_key_pairs.sort()#默认对值进行排序
  return  value_key_pairs[-n:]
 top_counts(counts)

3.更更简单的方法，直接用python标准库的collections.Counters类
从仅获取时区后开始

from collections import Counter
counts=Counter(time_zones)#以字典形式存储计数
counts.most_commom(10)#由高到低排列

时区排序.png

step3 使用pandas计数

#使用value_counts()函数进行计数
import pandas as pd 
frame=pd.DataFrame(records)#相当于把字典的每个Key作为列标签
tz_counts=frame['tz'].value_counts()#直接使用value_counts()函数进行计数
tz_counts[:10]#选取前10名
#缺失值进行填充
clean_tz=frame['tz'].fillna('Missing')
clean_tz[clean_tz==' ']='unknow'#按条件获取值

step4 可视化 seaborn

import seaborn as sns
sns.barplot(y=subset.index,x=subset.values)#barplot柱状图 catplot 散点图

5.补充一些语句

#类似if的语句
np.where(条件，条件为真时的值，条件为假时的值)
#某个字段是否有某值
frame['a'].str.contains('w')#判断a列的值里面是否有‘w’字
#分组计数(grouoby)时用size()
#列标签变成一栏
data.reset_index()