Scrapy的使用

1.创建scrapy
scrapy startprojest + 项目名

image.png

2.cd +项目查看项目文件

image.png

3.创建爬虫文件 scrapy genspider name 目标站点

image.png
image.png

4.启动爬虫
scrapy crawl 爬虫名

image.png image.png

如果去掉extract()加上first就直接返回第一个值（也就是内容）

image.png

如果不加first()返回的则是一个列表

image.png
image.png
用scrapy crawl quotes -o [json ,jl ,csv]可以指定爬取的文件的格式
ftp ://网址 image.png