美文网首页
Scrapy框架学习2

Scrapy框架学习2

作者: 浅望夜星 | 来源:发表于2017-04-11 19:28 被阅读0次

yield关键字

  yield<——>生成器

   生成器是一个不断产生值的函数

   包含yield语句 的函数是一个生成器


生成器每次产生一个值（yield语句），函数被冻结，被唤醒后再产生一个值。


生成器 vs.列表——>


更节省存储空间 /响应更迅速 /使用更灵活

Scrapy爬虫的使用步骤

1.创建一个工程和Spider模板

2.编写Spider

3.编写Item Pipeline

4.优化配置策略

Scrapy爬虫的使用步骤 

    1.  Request类

            Request对象表示一个HTTP请求

            由Spider生成，downloader执行


     2.Response类

        Response对象表示一个HTTP响应

        由Downloader生成，Spider执行

       3.Item类 

          Item对象表示从html页面中提取的信息内容
          由Spider生成，由Item Pipeline处理

           Item类似字典类型，可以按照字典类型操作

spider提取信息的方法

          Beautiful Soup

          lxml

          re

         XPath Selector

         CSS Selector


                

   

相关文章

网友评论

      本文标题：Scrapy框架学习2

      本文链接：https://www.haomeiwen.com/subject/jijuattx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|Scrapy框架学习2|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！