爬虫总结

1,创建和框架机构
(1)先创建一个项目

scrapy startproject projectname(项目名称)

(2)---进入到spiders文件夹下创建爬虫文件

scrapy genspider  (+) 爬虫文件名称 网站的域(http://后面的)

(3)----使用pycharm打开项目设置虚拟环境

scrapy项目的架构
chinaz:项目文件夹
    spiders:爬虫文件(存放所有的爬虫文件)
        zzw.py:(爬虫文件,解析Response响应,提取目标数据和url)
    items.py:编写要爬取的字段
    middlewares.py:中间键 (爬虫中间键和下载中间键)
    pipelines.py:数据管道(载这里做数据读持久化)
    settings.py:设置文件(设置请求头,设置下载延时,设置是否遵守robot协议,以及激活管道文件...)
scrapy.cfg:配置文件(我们部署项目的时候用到)

2,settings配置

进入settings.py进行配置(UA请求头,下载延时,是否遵循robot协议,设置文件,数据库的相关配置,管道的激活)

3,爬虫文件和item字段设置
定义爬虫文件:写入爬取方法需要

(1)写爬虫文件名字,域,url 
(2)在item中定义要接收的函数用来接收要爬取的字段,例:图片infoImg=scrapy.Field()
在类里面写入自己最终要用的集合名称方法(用来区分最终的获取数据分类)
(3)在自己定义的爬取虫文件中,发起请求获取到的是selector对象放到列表里,---循环列表取出自己要的最终内容,运用xpath取----最后面用.extract_first('')来取值,取出的是文本格式,非列表
(4)将取到的值 yield + 自己在item中定义的类方法,(这里的yield就是将此处item数据交给管道)

4,管道

(1)将item传来的数据进行数据持久化和过滤
(2)若要储存到数据库--------pymysql数据库,init中定义链接,创游标
-----这里进行数据库的连接和定义,(最开始在settings.py文件中定义的数据库信息在这里就可以用到),例:
def from_crawler(cls,crawler):
host = crawler.settings['MYSQL_HOST'] #这是获取settings中设置的host,这样写方便更改和代码优化,cls作用是传值到init中(自动执行int方法)return cls(host)
(3)定义close_spider方法,这个方法是代码结束自动执行,用来关闭游标和数据库连接

代码执行时候要进入到项目里面的spider目录下输出:scrapy crawl zzw (zzw是自己在自写的爬虫文件中设置的name值,即自己写的爬虫名字)执行代码