scrapy命令行详解

作者: 天涯笨熊 | 来源:发表于2017-12-12 16:57 被阅读54次

    1:创建scrapy项目

    scrapy startproject XXXXXX

    2:进入项目目录

    cd XXXX

    3:生成spider

    scrapy genspider baidu www.baidu.com

    4:列出创建spider所有可用模板

    scrapy genspider -l

    5:指定模板生成spider

    scrapy genspider -t crawl zhihu www.zhihu.com

    6:运行spider

    scrapy crawl spider

    7:检查语法是否有错误

    scrapy check

    8:返回所有spider的名称

    scrapy list

    9:测试爬取速度

    scrapy bench

    10:爬取结果输出到指定文件

    scrapy crawl quotes -o quotes.csv

    相关文章

      网友评论

        本文标题:scrapy命令行详解

        本文链接:https://www.haomeiwen.com/subject/llunixtx.html