爬虫运行脚本
点击链接加入群【python技术交流】：https://jq.qq.com/?_wv=1027&k=44cX7Ag
快来加入群【python技术交流】(群号214030345)，发现精彩内容。
scrapy根目录创建run.py文件
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
import sys
if __name__ == '__main__':
if len(sys.argv) > 1:
process = CrawlerProcess(get_project_settings())
process.crawl(sys.argv[1])
process.start()
else:
print 'ERROR:miss spider name!'
点击pycharm上edit configurations，设置参数
debug执行python run.py xxxspider即可
xxxspider为spider name
好处是可以随便调试，断点。运行多个爬虫，自己传各种参数。。。
网友评论