python大数据-统计北京地区二手市场活跃度-图表展示

目标

上次爬取了转转二手市场的的数据，这次我来将它可视化。
在终端里输入jupyter notebook 打开jupyter

使用 jupyter

样式

准备

在开始前，我们应该对需要调用数据的数据库进行备份，以防数据丢失
通过 new - terminal 从 jupyter 中打开终端，输入mongo，进入数据库界面，再输入 show dbs,显示所有数据文件，选择文件use ganji1_db,再输入 show tables, 显示该数据库文件中的collection
使用 db.createCollection('item_info_db_backups')创建一个新的collection，再使用db.item_info.copyTo('item_info_db_backups')拷贝，完成。我们在程序中使用拷贝的数据库。

程序

import pymongo
from string import punctuation
import charts

client = pymongo.MongoClient('localhost', 27017)
ganji1 = client['ganji1_db']
item_info = ganji1['item_info_db_backups']

# 修缮 area 的样式，并把新样式更新到备份数据库中
for i in item_info.find():
    area = [i for i in i['area'][3:].split() if i not in punctuation]  # 根据数据库中的area格式做对应的调整
    #print(area)
    item_info.update( {'_id': i['_id']}, {'$set':{'area':area}} )  
    # updat后面第一块表示所有有_id的都将被更新，这里的i是字典，所以它的key value都得update，它是item_info内的，最后的area是上方的变量

# 测试上方更新后的数据库打印出的结果是否正确
for i in item_info.find():
    print(i['area'])

['朝阳']
['房山']
['房山']
['大兴']
......
上方为测试结果

area_list = []
for i in item_info.find():
    area_list.append(i['area'][0])  # 没有[0]时，显示的是很多小列表组成的大列表[ [], [] ]格式
area_index = list( set(area_list) )   # 接上，i 是一个小的列表，里面就一个元素，所以[0]就把元素拿出来变成了字符串，再加入area_list
print(area_index)

上方代码测试结果：['大兴', '昌平', '通州', '平谷', '东城', '房山', '顺义', '海淀', '宣武', '崇文', '朝阳', '丰台']

# 统计每个地区出现的数量
post_times = []   # 仔细想想，这种逻辑的设计很棒
for index in area_index:
    post_times.append( area_list.count(index) )
print(post_times)  # 若这行后退对齐的话，打印出的结果是个梯形，每append一次打印一次

上方代码测试结果:[300, 240, 180, 60, 240, 60, 240, 840, 60, 60, 1141, 180]

def data_gen(types):  # types column name data type 都是固定格式
    length = 0
    if length <= len(area_index):   # 做个判断，不能一直yeild
        for area, times in zip(area_index,post_times):
            data = {
                'name':area,
                'data':[times],
                'type':types
            }
            yield data
            length += 1

data_gen('column')

上方代码报错：<generator object data_gen at 0x107295c50>上方结果为生成器，无法直接打印

for i in data_gen('column'):
    print(i)   # 下方的这样的格式就是我们需要的字典样式

{'name': '大兴', 'data': [300], 'type': 'column'}
{'name': '昌平', 'data': [240], 'type': 'column'}
上方为测试结果

series = [data for data in data_gen('column')]
charts.plot( series, show="inline", options = dict(title=dict(text='七日内北京城区二手商品活跃量')) )

好了，结果如下：

图表示例