安装

需要先安装pycurl

pip install pycurl

pycurl暂不兼容python3.7，所以如果你是python3.7或者以上版本，可能需要降级。
我用的是3.7版本的python，于是降级到3.6，成功安装pycurl。

然后安装就好了

pip install pyspider 

安装如果报错

ValueError: Invalid configuration:
  - Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead.

请参考之前的文章 https://www.jianshu.com/p/920cbfc6fe06

前景

这段时间有个爬虫需求，要爬取很多类似格式的站点，大概几百个吧，然后一个一个小文件，编写，维护，监控成本都太高，也太麻烦。pyspider的作者据说当时也是遇到类似的问题，然后大佬就自己写了个框架叫pyspider. （给大佬献上膝盖

简单入手

命令行输入

pyspider all

浏览器打开：

localhost:5000

就可以看到开发界面了。点击create创建项目，然后填写项目名和开始的URL

image.png

创建之后就可以看到代码编写界面了：

image.png

点击保存，然后run一下。之后就那么几个按钮，每个点点试试就知道怎么回事了。
run的时候可能遇到报错： Exception: HTTP 599: SSL certificate problem: unable to get local issuer certificate
参考文章https://www.jianshu.com/p/6a40bbd0298c