设置pycharm调试scrapy框架爬虫

初次接触scrapy爬虫的同学可能遇到启动scrapy爬虫都是通过命令行方式启动的

如我们耳熟能详的

scrapy crawl xxxxx

但是这样一来 就给调试带来诸多不便,不停的切换窗口不说,而且还要反复重复的输入框架爬虫启动命令,都疯了好吗?

下面给大家带来一波福利,教大家如何用pycharm启动(vscode以及其他编辑器都可以使用)

1. 在项目文件夹里创建一个py文件,命名为main.py(名字真的随意,你也可以叫run.py)

2. 使用如下代码来执行cmd命令

image.png

然而 对于初次运行这样的脚本的同学 可能会遇到如下报错:

image.png

这个错误处理很简单 ,利用pip install 安装一下缺少的模块就行了 ,不过这里注意要安装的模块名字是pypiwin32(我不会告诉你们这个报错是win操作系统独有的,Linux不会有这个报错)

好了执行我们的安装

pip install pypiwin32

极个别用户提示已安装,但是还是无法运行scrapy,请参考这篇文章:Python-“import win32api”报“ImportError：DLL load failed：找不到指定的模块。”错误的解决

我们重新在编辑器启动调试,可以看到如下结果:

image.png

对没错,我们已经可以在pycharm里随时启动scrapy框架爬虫了,下面附上程序main.py源码:

from scrapy.cmdline import execute
import sys
import os
# 获取当前脚本路径
dirpath = os.path.dirname(os.path.abspath(__file__))
print(dirpath)
# 添加环境变量
sys.path.append(dirpath)
# 启动爬虫,第三个参数为爬虫name
execute(['scrapy','crawl','My51spider'])

开启愉快的scrapy框架爬虫之旅吧!

附:pycharm背景修改

---

喜欢学习python爬虫的朋友,可以加交流群：692858412(点我加群)一起学习

另:欢迎大家关注我的python专题,第一时间获得我专题的最新文章点击关注

喜欢我的文章可以关注我哦,别忘了点个喜欢!