上篇说道，我们能够通过指定的URL来获取政府工作报告，但是怎样能够但是一遍遍粘贴地址和运行代码也有大量重复的工作，也就是我想直接输入汇编地址，就会自动把当前年份所有省份的文本获取下来。既然我们能够通过URL获取工作报告，那么我就只要获取它的URL地址不就好了么。
那么这一篇和上篇的思路是一样的，只不过是把获取的报告的文字换成了URL罢了。
请求
url = "http://www.gov.cn/guoqing/2016-02/21/content_5044277.htm"
page = urllib2.urlopen(url).read().replace('http://www.gov.cn/govweb/xhtml/favicon.ico', '').replace(' ', '').replace('<strong>', '').replace('</strong>', '').replace('</br>', '').decode("utf8").split(' ')
page = ''.join(page)
简单解释一下，read()后来这么多代码也就是把一些网页标签中不需要的空格，加粗，换行给去除掉而已
解析
通过谷歌浏览器自带的开发者工具，检查北京和天津的元素可以发现如下图
1487643970330.jpg
看到这个统一的格式就觉得有戏，我们可以通过正则表达式来爬取。
我们需要的数据是超链接和省份信息，那么红框部分基本上都是我们想要的。
那么我们只要匹配这类数据再把需要的部分用中括号括起来就行了（不懂得回去看看正则表达式）
re.findall('"(http://www.gov.*?)".*?[\u4e00-\u9fa5]*?<', page, re.S)
但是这样匹配以后会发现问题，许多除了省份的超链接意外，其他的例如图片的超链接进去了，跳转其他页面的超链接进去了。
1487646106676.jpg
然后我通过查看各个混进来的超链接的格式发现与省份超链接不大一样，这样的话我想到了一个办法，通过把正则表达式的精确度提高，把其他混进来的链接给过滤掉，但是发现仍有小部分的链接是无法被过滤掉了，这样就对我爬取带来了极大的困扰。为此我想了好久，还是通过看省份那部分的网页代码，想到了一个办法，
省份数据是其他超链接中没有的，那么我只要爬取带省份关键字的超链接不就好了么。于是我的我的正则表达式变成了。
cities = '(北京|天津|河北|山西|内蒙古|辽宁|吉林|黑龙江|上海|江苏|浙江|安徽|福建|江西|' \
'山东|河南|湖北|湖南|广东|广西|海南|重庆|四川|贵州|云南|西藏|陕西|甘肃|青海|宁夏|新疆)'
cities = cities.decode('utf8').strip()
re.findall('"(http://www.gov.*?)".*?' + cities + '<', page, re.S)
然后这样输出后的结果非常好 网页内容完全匹配到了省份上。
1487647652931.jpg
储存
最后，通过正则表达式返回的列表值进行遍历，将上篇的内容制定成一个函数，
将值进入函数循环，即可得到自己需要的数据。
def plar_gov_report_spider_save_txt(self, url):
"""爬取地方政府工作报告 并保存为txt文本
:param url:当前需要处理的超链接值
:return:
"""
# 保存当前网页源码 并清洗不必要的标签
page = urllib2.urlopen(url).read().decode("utf8").replace(' ', '').replace('<strong>', '').replace(
'</strong>', '').replace('</br>', '')
# 因为 2016 汇编有一处改动 所以在<p> 后面加 ？
myitems = re.findall('<p.*?>(.*?[\u4e00-\u9fa5]*?.*?)</p>', page)
网友评论