2015年8月14日至2016年5月29日北京地铁运营公司日客流量变化趋势
数据来源：北京地铁官网
我是一只小爬虫，咿呀咿呀呦
技术：python
很早以前就想做一只小小爬虫，奈何一直没那个时间与心思，今天在昨天学习的基础上，更进一步，用python做了一只简陋的小爬虫，爬取了北京地铁官网上每日公布的日客流量数据，做了一份报表
1、Python小爬虫部分
1、1 学习知识
- Python基础知识
- Python中urllib和urllib2库的用法
- Python正则表达式
- Python爬虫框架Scrapy
- Python爬虫更高级的功能
由于本爬虫实现及逻辑简单因此并未使用到后面的框架，登录等部分
1、2 urllib部分
#encoding:UTF-8
import urllib.request
url = "http://www.baidu.com"
data = urllib.request.urlopen(url).read()
data = data.decode('UTF-8')
print(data)
1、3 爬取北京地铁官网数据
-
主要使用urllib模块
-
爬取页面分析
url如下：
http://www.bjsubway.com/support/cxyd/klxx/index_10.html
并且每一个部分都一样，只是数字10改变，从2到147个页面
-
需要数据分析
数据在一个P标签内，因此可以使用re.compile('<p>(.+?)</p>')正则简单匹配
1、4 前期爬取工作代码
import re
import urllib.request
import urllib
import xlsxwriter as xls
def GetOnePage(url):
res=[]
urlop=urllib.request.urlopen(url)
data=urlop.read()
data = data.decode('GBK')
linkre = re.compile('<p>(.+?)</p>')
for x in linkre.findall(data):
res.append(x)
return res
data=[]
url='http://www.bjsubway.com/support/cxyd/klxx/index.html'
data+=GetOnePage(url)
for i in range(2,148):
#for i in range(2,3):
url='http://www.bjsubway.com/support/cxyd/klxx/index_'+str(i)+'.html'
#print(url)
data+=GetOnePage(url)
workbook = xls.Workbook('北京地铁原始数据.xlsx')
worksheet = workbook.add_worksheet() #()中可以加入名字
worksheet.write_column('A1',data)
workbook.close()
本来想一步到位，从爬去到保存成图，但是北京地铁官网对多次发送的IP会进行拦截。人家有看门狗狗。囧~~~
北京地铁旺财
其实最后我的数据也没有拉全，可能在中间请求的过程中已被拦截。没那么多时间管这个，就将就用了拉取的数据。
2、数据分析部分
2.1 原始数据分析
- 正确爬取的数据
5月25日（周三），北京地铁公司所辖15条运营线路日客运量为923.73万人次（不含京港地铁所辖：4号线、14号线、大兴线客流）。各条线路日客运量详见下图
首先可以用
split(' , ')截取时间，之后线路一定是在条前的，客运量一定在为 XXX万之间的
当然原本我是这么自以为是的，因此出现了各种问题
- 正确爬取的另类数据
4月29日（周五），北京地铁公司所辖15条运营线路日客运量再创新高，达到1050.26万人次（不含京港地铁所辖：4号线、14号线、大兴线客流）。各条线路日客
在这条数据中，日客运量数据是在
达到XXX万人次
- 错误爬取的数据
</p><div class="card_pic_img"><a id="example7" href="/d/file/support/cxyd/klxx/2015-10-08/b0fe2bf2e38e66343ca43197af90b8a1.jpg"
由于正则的简单，难免会爬取一些错误的数据
2.2 将数据进行处理
-
经过之前的分析，现将每一条数据，截取出日期，管辖线路条数，日客运量三列数据
-
代码
import xlrd
import os
import xlsxwriter as xls
#读取xlxs文件，将车站保存到内存
filename=r'{0}\北京地铁原始数据.xlsx'.format(os.getcwd())
data = xlrd.open_workbook(filename)
sheetname = data.sheet_names()
sheet = data.sheet_by_index(0)
rows = sheet.nrows
cols = sheet.ncols
time=[]
lines=[]
renshu=[]
for row in range(rows):
temp=sheet.row_values(row)[0].split('，')
inX=temp[1].index('条')
inW=0
if '为' in temp[1]:
inW=temp[1].index('为')
elif '达到' in temp[1]:
intW =temp[1].index('达到')
else:
continue
inWan=temp[1].index('万')
time.append(temp[0])
lines.append(temp[1][inX-2:inX])
renshu.append(float(temp[1][inW+1:inWan]))
time=time[::-1]
lines=lines[::-1]
renshu=renshu[::-1]
workbook=xls.Workbook('北京地铁运营公司全年日客运量.xlsx')
worksheet=workbook.add_worksheet('北京地铁运营公司')
bold=workbook.add_format({'bold':1})
#添加表头
headings=['时间','线路','日客运量']
worksheet.write_row('A1',headings,bold)
#添加内容
worksheet.write_column('A2',time)
worksheet.write_column('B2',lines)
worksheet.write_column('C2',renshu)
#创建新的图表，折线图
chart=workbook.add_chart({'type':'line'})
chart.add_series({
'name': '={0}!$B$1'.format('北京地铁运营公司'),
'categories': '={0}!$A$2:$A${1}'.format('北京地铁运营公司',len(time)+1),
'values': '={0}!$C$2:$C${1}'.format('北京地铁运营公司',len(time)+1),
})
#添加表头和xy
chart.set_title({'name':'北京地铁运营公司全年日客运量变化趋势'})
chart.set_x_axis({'name':'时间'})
chart.set_y_axis({'name':'人数(万人)'})
#Set an Excel chart style. Colors with white outline and shadow.
chart.set_style(10)
# Insert the chart into the worksheet (with an offset).
worksheet.insert_chart('E2', chart, {'x_offset': 25, 'y_offset': 10})
workbook.close()
说明：以上代码主要就是简单的逻辑处理，并通过昨天学到的Python生成excel知识做的
3、结果展示
2015年8月14日至2016年5月29日北京地铁运营公司日客流量变化趋势
网友评论