在“获取新浪微博API数据”一文中，我们介绍了如何利用新浪微博api来获取数据。在本文中，我们将介绍如何使用python的json库保存获取的数据，以及利用dataframe进行加工，以便于后续的分析。

在成功调用微信api之后，我们就可以获取我们感兴趣的各类数据了。详细的介绍可以参见微博API。例如：

假设我们想获取用户发布的微博，我们可以使用微博读取接口中的statuses/user_timeline。

result=client.statuses__user_timeline()   #statuses/user_timeline，斜杠用两个下划线代替

返回的是JsonDict对象：

In [14]: type(result)
Out[14]: weibo.JsonDict

内容如下：

{'hasvisible': False,
 'interval': 0,
 'marks': [],
 'next_cursor': 0,
 'previous_cursor': 0,
 'statuses': [{'annotations': [{'mapi_request': True}],
   'attitudes_count': 0,
   'biz_feature': 0,
   'comment_manage_info': {'comment_manage_button': 1,
    'comment_permission_type': 0},
   'comments_count': 0,
   'created_at': u'Mon Sep 04 08:47:46 +0800 2017',
   'darwin_tags': [],
   'favorited': False,
   'geo': None,...}

返回的JsonDict对象包含非常丰富的信息，其中的statuses有我们需要的内容，比如用户发布的微博：

print(result['statuses'][0]['text'])
转发微博

为了方便起见，我们也可以这样写：

result=client.statuses__user_timeline()["statuses"] 

print(result[0]['text'])

同理，如果我们想获取一条原创微博的转发微博，可以使用statuses/repost_timeline:

reposts=client.statuses__repost_timeline(id=3741020640174910, page=1, count=100)['reposts']

返回92条转发微博：

In [37]: len(reposts)
Out[37]: 92

原微博的内容如下：

In [40]: print(reposts[0]["retweeted_status"]["text"])

#云南鲁甸县地震#【遇难人数增至615人[蜡烛]】据抗震救灾指挥部消息，截至今天19时，#地震共造成615人死亡，其中鲁甸县526人、巧家县76人、昭阳区1人、会泽县12人；#目前仍有114人失踪，其中鲁甸县109人、巧家县5人；另有3143人受伤。

1将JsonDict对象保存到本地文件

json格式是目前序列化数据最流行的方式之一，微博api数据返回的就是json格式的数据。python的 json模块提供了编码和解码json数据的方法。

把一个python字典转化成json：

import json

data = {
'name' : 'ACME',
'shares' : 100,
'price' : 542.23
}

json_str = json.dumps(data)   #将dict转化成str格式

In [45]: type(json_str)
Out[45]: str

下面的方法则是将json编码的字符串转换回python数据结构：

data = json.loads(json_str)

如果你处理的是文件而不是字符串，可以使用json.dump()和json.load来编码和解码json数据，并将数据存储到文件或读取出来：

# Writing JSON data
with open('data.json', 'w') as f:
    json.dump(data, f)

# Reading data back
with open('data.json', 'r') as f:
    data = json.load(f)

例如，我们可以将微博转发数据存储到文件中：

with open('/Users/xiangzhendong/Downloads/Python/temp/json_weibo.txt','w') as f:
    json.dump(reposts, f)

存储结果如下：

存储到文件的json数据

2 json数据的读取

现在，我们尝试从文件对象中读取和解析json字符：

with open('/Users/xiangzhendong/Downloads/Python/temp/json_weibo.txt') as file:
    data=json.load(file)
    for repost in data:
        print('mid:'+repost['mid']) 
        print('user_id:'+str(repost['user']['id']))

结果如下：

mid:3841703830612632
user_id:1243844290
mid:3802996099803616
user_id:2169840313
mid:3759176360717294
user_id:1733779492
mid:3745398168428966
user_id:5238718457
mid:3743240718704599
user_id:3880272707
mid:3742370405219661
user_id:5023165699
mid:3741754479940177
user_id:2726578993
...

为了便于重复读取，我们可以定义下面的函数：

import pandas as pd

def toDataFrame(entry):
    dataset=pd.DataFrame()
    length=len(entry)

    #转发微博的属性
    dataset['mid']=[entry[i].id for i in range(0, length)]   #也可以这样写：dataset['mid']=[entry[i]['id'] for i in range(0, len(entry))]
    #dataset['text']=[entry[i].text for i in range(0, length)] 
    dataset['created_at']=[entry[i].created_at for i in range(0, length)] #转发时间
    dataset['reposts_count']=[entry[i].reposts_count for i in range(0, length)]  #转发量
    dataset['comments_count']=[entry[i].comments_count for i in range(0, length)]  #转发量

    #微博转发者的属性, 嵌套的字典
    dataset['user_id']=[entry[i].user.id for i in range(0, length)] 

    #源微博的属性
    dataset['rts_mid']=[entry[i].retweeted_status.id for i in range(0, length)]

    #源微博发出者的属性, 双重嵌套
    dataset['rtsuser_id']=[entry[i].retweeted_status.user.id for i in range(0, length)]

    return dataset

通过调用以上函数，我们就可以轻松读取json数据了：

dataset=toDataFrame(reposts)