实时抓取空气质量数据

利用如下网址来获取某个城市的空气质量

http://pm25.in/

人家本来是提供了API的，而且也有公共Token可以让人测试，但是我觉得调人家接口有点不好意思，反正我只要数据，也就不占用人家的服务了（哈哈，就是把爬虫说的这么清新脱俗），真的，你看我最后的time.sleep（1*60）就知道我真的不是那种恶意把人家服务器搞趴的坏人。
代码如下

# -*- coding: utf-8 -*-
from lxml import etree
import requests
import sys
import json
import datetime
import hashlib
import time

# 指定默认编码方式为utf-8
reload(sys)
sys.setdefaultencoding('utf-8')


# 从网站获取空气状况
def get_pm(city='hangzhou'):  # 输入参数为城市全拼
    url = 'http://pm25.in/' + city
    response = requests.get(url)  # 获取指定网址的html
    html = etree.HTML(response.text)
    table_result = html.xpath('//table[@id="detail-data"]')  # 获取数据表
    table = table_result[0]
    head_results = table.xpath('thead/tr/th')  # 获取表头
    records = table.xpath('tbody/tr')  # 获取记录
    air_record = {}  # 定义字典
    air_records = []  # 定义列表
    for record in records:  # 遍历记录
        for i in range(0, len(head_results)):  # 遍历字段
            air_record[head_results[i].text] = record.xpath('td')[i].text
        air_records.append(air_record)
        air_record = {}  # 清空变量的缓存
    return air_records


# 加时间戳输出文件
def file_output(text, target_dir=''):
    current_time = datetime.datetime.now()
    file_name = current_time.strftime('%Y%m%d%H%M') + '.json'
    output_file = open(target_dir + file_name, 'w')
    output_file.write(text)
    output_file.close()


# 校验是否更新
def is_update(current, original=''):
    md5_of_original = hashlib.md5(original).hexdigest()
    md5_of_current = hashlib.md5(current).hexdigest()
    if md5_of_current == md5_of_original:
        return False
    else:
        return True

# 定时任务
original_records_json = ''  # 对比原数据初始化
while True:
    current_records = get_pm()  # 获取数据
    current_records_json = json.dumps(current_records, ensure_ascii=False, indent=2)  # 转化为JSON格式
    if is_update(current_records_json, original_records_json):
        # file_output(current_records_json)
        print datetime.datetime.now().strftime('%Y%m%d%H%M')  # 时间戳
        print current_records_json  # 数据输出
        original_records_json = current_records_json  # 对比数据更新
    else:
        print datetime.datetime.now().strftime('%Y%m%d%H%M')
        print u'数据尚未更新'
    time.sleep(1*60)

最后还是非常感谢BestApp工作室的PM25.in这个作品，因为我根本没办法在其他网站找到这么方便的数据获取方式，其实根本原因就是国家环境保护部的网站太乱，（冏）。