美文网首页爬虫专辑
五、scrapy中的item功能

五、scrapy中的item功能

作者: 阿轲666 | 来源:发表于2017-06-07 12:42 被阅读0次

    非结构的数据源提取成结构性的数据,把乱七八糟的网页定义成自己的结构。我们可以将这些字段,分别放入我们的字典中来。通过字典返回给scapy。Item类似于字典,比字典更齐全些。

    scrapy发现是item时候会把item路由到pipeline中去,可以在pipeline中集中处理数据的保存和去重。这就是item带给我们的好处。

    Item只有field类型,代表任何传递进来的东西都可以。图片,文字,元组......都可以。

    1、胡子眉毛一起抓,a标签下网页的url和图片的url一起抓取下来。

    把pipeline给注释掉的打开

    values是自己解析出来的value值

    pipeline中记得打断点,进行测试。

    相关文章

      网友评论

        本文标题:五、scrapy中的item功能

        本文链接:https://www.haomeiwen.com/subject/cgiofxtx.html