使用scrapy框架进行多进程爬取多个网站

1.scrapy项目的创建(pip3 install scrapy)

scrapy  startproject  xiangmu  

cd xiangmu

scrapy genspider run xiangmu.com

2.对run.py文件进行修改

修改前

修改后

3.对settings进行修改

添加一项：LOG_LEVEL = "WARNING"

4.最后在run.py里面添加自己想抓取的网页，运行run（python3 run.py）文件即可。