采集过程:
在已建立的quotes项目下编写爬虫,并执行,同时保存为xml或者json格式。本次采集尝试使用两种方法,一个是css选择器,另一个是xpath选择器。
1、利用css编写爬虫tag1_spider.py
抓取结果:
名人名言css抓取结果.png
共获得101条数据
保存为xml:scrapy crawl tag1 -o tag1.xml
保存为xml格式.png cssxml.png
在这个过程中遇到的问题是无法设置xml的层级结构,也就是说不能将相应的名人名言归在对应的所属的tag的标签里面,如上图所示,不能将tag为reading的名人名言放在reading对应的标签之下。
2.利用xpath编写爬虫tag3_spider.py
同样获得了101条数据
保存为xml:scrapy crawl tag3 -o tag3.xml
网友评论