1. 引言

Paste_Image.png Paste_Image.png

2. 分析

• 定义生成日期的函数
• 筛选哪些帖子在指定日期内, 统计该日期内指定区域的所有帖子
• 筛选哪些帖子在指定日期内, 统计该日期内指定成色的所有帖子数量和总价格

3. 实现部分

In [1] :

from pymongo import MongoClient
from datetime import timedelta, date
import charts

Server running in the folder /home/wjh at 127.0.0.1:52450

---

In [2] :

client = MongoClient('10.66.17.17', 27017)
database = client['ganji']
item_info = database['item_info']

---

In [3] :

# 查看下源数据
[i for i in item_info.find().limit(30)]

Out [3] :

[{'_id': ObjectId('5698f524a98063dbe9e91ca8'),
  'area': ['朝阳', '高碑店'],
  'cates': ['北京58同城', '北京二手市场', '北京二手家电', '北京二手冰柜'],
  'look': '-',
  'price': 450,
  'pub_date': '2016.01.12',
  'time': 0,
  'title': '【图】95成新小冰柜转让 - 朝阳高碑店二手家电 - 北京58同城',
  'url': 'http://bj.58.com/jiadian/24541664530488x.shtml'},
 {'_id': ObjectId('5698f525a98063dbe4e91ca8'),
  'area': ['朝阳', '定福庄'],
  'cates': ['北京58同城', '北京二手市场', '北京二手家电', '北京二手洗衣机'],
  'look': '-',
  'price': 1500,
  'pub_date': '2016.01.14',
  'time': 2,
  'title': '【图】洗衣机，小冰箱，小冰柜，冷饮机 - 朝阳定福庄二手家电 - 北京58同城',
  'url': 'http://bj.58.com/jiadian/24349380911041x.shtml'},
 {'_id': ObjectId('5698f525a98063dbe7e91ca8'),
  'area': ['朝阳', '望京'],
  'cates': ['北京58同城', '北京二手市场', '北京二手台式机/配件'],
  'look': '-',
  'price': 1500,
  'pub_date': '2015.12.27',
  'time': 3,
  'title': '【图】三星 A5 白色 没有打开过 - 朝阳望京台式机/配件 - 北京58同城',
  'url': 'http://bj.58.com/diannao/24475337853109x.shtml'}]

---

In [4] :

# 定义生成日期列表函数
def date_gen(date1, date2):
    # 起始日期
    one_day = date(int(date1.split('.')[0]), int(date1.split('.')[1]), int(date1.split('.')[2]))
    # 结束日期
    end_day = date(int(date2.split('.')[0]), int(date2.split('.')[1]), int(date2.split('.')[2]))
    # 日期增长步伐
    step = timedelta(days=1)
    # 生成日期列表
    while one_day <= end_day:
        # 每次日期列表生成位置从上次结束位置开始
        yield one_day.strftime('%Y.%m.%d')
        # 日期增长一天
        one_day += step
# 输出看下结果        
[i for i in date_gen('2015.12.01', '2015.12.05')]

Out [4] :

['2015.12.01',
 '2015.12.02',
 '2015.12.03',
 '2015.12.04',
 '2015.12.05']

---

TOP3图表

In [5] :

# 定义图表数据生成函数, 指定区域, 图表类型, 起始日期, 结束日期
def area_count_gen(area, types, date1, date2):
    # 管道模型, 带入起止日期, 区域
    pipeline = [
        # 引用日期生成函数生成日期列表, 代入区域变量, 实现数据筛选
        {'$match': {'$and': [{'pub_date': {'$in': [i for i in date_gen(date1, date2)]}}, {'area': area}]}},
        # 以数据中区域字段的第3位来分组, 并统计数量
        {'$group': {'_id': {'$slice': ['$cates', 2, 1]}, 'counts': {'$sum': 1}}},
        # 降序排列
        {'$sort': {'counts': -1}},
        # 只显示前3条, 即TOP3
        {'$limit': 3},
    ]
    # 定义类型列表
    cate = []
    # 定义数量列表
    count = []
    # 定义存放类型和数量的列表
    cate_count = []
    # 利用管道模型循环筛选出类型即数量
    for i in item_info.aggregate(pipeline):
        # 类型存入类型列表
        cate.append(i['_id'][0])
        # 类型存入数量列表
        count.append(i['counts'])
    # 生成数据字典
    data = {
        'name': area,
        'type': types,
        'data': count,
    }
    # 将类型列表存入要返回的列表中, 在图表参数options中作引用
    cate_count.append(cate)
    # 将数据字典存入要返回的列表中, 作为图表的数据
    cate_count.append(data)
    # 返回列表数据以作引用
    return cate_count
# 输出数据看下
print(area_count_gen('朝阳', 'column', '2015.12.01', '2015.12.30'))

[['北京二手服装/鞋帽/箱包', '北京二手家电', '北京二手母婴/儿童用品'], {'type': 'column', 'name': '朝阳', 'data': [800, 784, 583]}]

---

In [6] :

# 定义图表参数
options = {
    'chart': {'zoomType': 'xy'},
    'title': {'text': '某段时间北京二手物品发帖量对比'},
    'subtitle': {'text': '2015.12.01 ~ 2015.12.30该区域分类发帖量TOP3'},
    # 分类引用图表数据生成函数的返回列表中的第1位
    'xAxis': {'categories': area_count_gen('丰台', 'column', '2015.12.01', '2015.12.30')[0]},
    'yAxis': {'title': {'text': '数量'}},
}
# 数据引用图表数据生成函数的返回列表中的第2位, 这里指定区域的名字则生成相应的数据
serises = area_count_gen('丰台', 'column', '2015.12.01', '2015.12.30')[1]
# 生成图表
charts.plot(serises, show='inline', options=options)

Out [6] :

Paste_Image.png

---

价格对比图表

In [7] :

# 定义所有包含所有成色的列表
levels = ['全新', '99成新', '95成新', '9成新', '8成新', '7成新及以下']

---

In [8] :

# 定义价格图表生成函数, 传入图表类型, 成色列表, 起止日期
def price_gen(types, levels, date1, date2, cates):
    # 定义价格列表
    nums = []
    # 循环获取各成色物品的平均价格
    for level in levels:
        pipeline = [
            # 引用日期生成函数生成列表, 传入成色筛选数据
            {'$match': {'$and': [{'pub_date': {'$in': [i for i in date_gen(date1, date2)]}}, {'look': level}, {'cates': {'$all': cates}}]}},
            # 以成色分组, 统计总价, 统计单一成色条目数
            {'$group': {'_id': '$look', 'prices': {'$sum': '$price'}, 'counts': {'$sum': 1}}},
        ]
        # 筛选出数据结果
        data_all = [i for i in item_info.aggregate(pipeline)]
        # 看下筛选出来的数据
        print(data_all)
        # 将平均价逐一添加至价格列表中
        nums.append(data_all[0]['prices'] // data_all[0]['counts'])
    # 生成数据字典
    data = {
        'name': '价格',
        'type': types,
        'data': nums,
    }
    # 返回数据字典
    return data
# 输出看下结果        
s = price_gen('line', levels, '2015.11.01', '2016.1.30', ['北京二手手机'])
print(s)

Out [8] :

[{'counts': 133, '_id': '全新', 'prices': 255698}]
[{'counts': 158, '_id': '99成新', 'prices': 265731}]
[{'counts': 210, '_id': '95成新', 'prices': 468619}]
[{'counts': 232, '_id': '9成新', 'prices': 248964}]
[{'counts': 117, '_id': '8成新', 'prices': 74176}]
[{'counts': 13, '_id': '7成新及以下', 'prices': 7260}]
{'type': 'line', 'name': '价格', 'data': [1922, 1681, 2231, 1073, 633, 558]}

---

In [9] :

# 生成图表的参数
options = {
    'chart': {'zoomType': 'xy'},
    'title': {'text': '北京城区二手物品价格走势图'},
    'subtitle': {'text': '2015.11.01 ~ 2016.1.30时间段内各成色二手物品的平均价格'},
    # X轴用成色分类
    'xAxis': {'categories': levels},
    'yAxis': {'title': {'text': '价格'}},
}
# 引用价格图表函数生成图表数据
serises = price_gen('line', levels, '2015.10.01', '2016.1.30', ['北京二手手机'])
# 输出图表
charts.plot(serises, show='inline', options=options)

Out [9] :

Paste_Image.png

4. 总结

• 图表数据里的data字段数量要和options里的数量相同