美文网首页
热门标签下名人名言的采集

热门标签下名人名言的采集

作者: _dami | 来源:发表于2017-05-16 02:21 被阅读0次

    采集过程:
    在已建立的quotes项目下编写爬虫,并执行,同时保存为xml或者json格式。本次采集尝试使用两种方法,一个是css选择器,另一个是xpath选择器。
    1、利用css编写爬虫tag1_spider.py

    热门标签名人名言css.png

    抓取结果:


    名人名言css抓取结果.png

    共获得101条数据
    保存为xml:scrapy crawl tag1 -o tag1.xml


    保存为xml格式.png cssxml.png

    在这个过程中遇到的问题是无法设置xml的层级结构,也就是说不能将相应的名人名言归在对应的所属的tag的标签里面,如上图所示,不能将tag为reading的名人名言放在reading对应的标签之下。
    2.利用xpath编写爬虫tag3_spider.py

    热门标签的名人名言xpath.png 名人名言xpath抓取结果.png

    同样获得了101条数据
    保存为xml:scrapy crawl tag3 -o tag3.xml

    xpathxml.png

    相关文章

      网友评论

          本文标题:热门标签下名人名言的采集

          本文链接:https://www.haomeiwen.com/subject/rhvkxxtx.html