美文网首页
2019-01-15Scrapy 项目应用步骤

2019-01-15Scrapy 项目应用步骤

作者: 太阳出来我爬山坡 | 来源:发表于2019-01-25 09:22 被阅读0次
  1. scrapy startproject <项目名> [项目目录]
    cd 到项目录上级, 再创建项目时,可以不填项目目录
    2.scrapy genspider <爬虫名> <域名>
    spidername 需要 唯一,域名 如www.baidu.com
    3.设置item
    item为获取的目标数据.
    4.settings

设置 启用 pipeline管道 中间层等...

5.scrapy crawl [-t crawler ] 爬虫虫 - o 文件名.类型.

启动爬虫

相关文章

网友评论

      本文标题:2019-01-15Scrapy 项目应用步骤

      本文链接:https://www.haomeiwen.com/subject/koqydqtx.html