Python Scrapy项目流程

1.安装Scrapy

pip install scrapy

2.创建Scrapy项目

python3 -m scrapy startproject pad_wool_crawl  // pad_wool_crawl：项目名称

3.创建Scrapy爬虫文件(在项目目录下执行)

python3 -m scrapy genspider 1818tuan 0818tuan.com  // 1818tuan：爬虫文件名称；0818tuan.com：爬取的域名

4.运行Scrapy爬虫文件(在项目目录下执行)

python3 -m scrapy crawl 1818tuan  // 1818tuan：爬虫文件名称

5.DeBug断点调试(参考文章)

// 1.在项目的文件夹下增加一个文件main.py（scrapy.cfg同等级中）
// 2.在scrapy的spider中设置断点，main.py中用debug调试则可。
from scrapy.cmdline import execute
import os
import sys
if __name__ == '__main__':
    sys.path.append(os.path.dirname(os.path.abspath(__file__)))
    execute(['scrapy','crawl','1818tuan']) // 1818tuan：爬虫文件名称