2.3，下载网页内容提取器程序
网页内容提取器程序是GooSeeker为开源Python即时网络爬虫项目发布的一个类，使用这个类，可以大大减少信息采集规则的调试时间，具体参看《Python即时网络爬虫项目: 内容提取器的定义》
下载地址: https://github.com/FullerHua/gooseeker/core/gooseeker.py把gooseeker.py保存在项目目录下
3，网络爬虫的源代码
# _*_coding:utf8_*_# anjuke.py# 爬取安居客房产经纪人fromurllibimportrequestfromlxmlimportetreefromgooseekerimportGsExtractorclassSpider:defgetContent(self, url):conn = request.urlopen(url) output = etree.HTML(conn.read())returnoutputdefsaveContent(self, filepath, content):file_obj = open(filepath,'w', encoding='UTF-8') file_obj.write(content) file_obj.close()bbsExtra = GsExtractor()# 下面这句调用gooseeker的api来设置xslt抓取规则# 第一个参数是app key，请到GooSeeker会员中心申请# 第二个参数是规则名，是通过GooSeeker的图形化工具: 谋数台MS 来生成的bbsExtra.setXsltFromAPI("31d24931e043e2d5364d03b8ff9cc77e","安居客房产经纪人") url ="http://shenzhen.anjuke.com/tycoon/nanshan/p"totalpages =50anjukeSpider = Spider()print("爬取开始")forpagenumberinrange(1, totalpages): currenturl = url + str(pagenumber) print("正在爬取", currenturl) content = anjukeSpider.getContent(currenturl) outputxml = bbsExtra.extract(content) outputfile ="result"+ str(pagenumber) +".xml"anjukeSpider.saveContent(outputfile , str(outputxml))print("爬取结束")
5，总结因为信息采集规则是通过api下载下来的，所以，本案例的源代码显得十分简洁。同时，整个程序框架变得很通用，因为最影响通用性的采集规则是从外部注入的。
6，集搜客GooSeeker开源代码下载源
1. GooSeeker开源Python网络爬虫GitHub源
进群：125240963 即可获取十套PDF书籍资料！
网友评论