MAC 下搭建 PySpider

最近在学习Python爬虫、想再自己本地MAC下搭建PySpider框架，经历了步步为坑的遭遇。。。

首先安装一下PySpider

我用的是Python3、pip3，所以我下载操作都是以Python3、pip3 为主。

先打开pyspider文档：http://docs.pyspider.org/en/latest/

安装命令：pip3 install pyspider

启动：pyspinder all

第一个坑来了：

其实这个问题就是pyspider中把async设置为关键字了，而async可是python3.7的关键字啊。所以解决办法就是 打开：/usr/local/lib/python3.7/site-packages/pyspider/run.py，将async改为：asyncs(建议使用编辑器批量修改，具体改为什么、随意)

改完之后、很多用户可能会直接启动：pyspider all  结果发现还是不行

不过这次不是关键字冲突了、这个是说: phantomjs 没找到、需要安装phantomjs。了解过pyspider的都知道、pyspider+phantomjs 配合是很好用的。接下来就安装phantomjs 

1).下载phantomjs(http://phantomjs.org/download.html)官网下载mac版本

2).下载后直接解压，将解压后的phantomjs-2.1.1-macosx文件夹放到你想放的目录下(随意、开心就好) 

然后执行：pwd   把路径复制一份、备用

3).添加全局变量，终端输入vim .bash_profile 添加语句（vim 语法相信大家是有点基础的。这里简单列几个一会用的上的。插入:i，退出:电脑的 esc 按键，:wq! 保存并关闭）

打开后：i      直接复制过去  export PATH=/你放的目录路径[上面 pwd 的结果]/phantomjs-2.1.1-macosx/bin:$PATH

5).终端输入source .bash_profile     让刚才的环境变量生效

6).终端输入 phantomjs --version 检测是否配置成功  

如果出现版本号、接OK了

接下来是不是想直接启动一下 pyspider all  结果发现还是不行

这次出现的又是第一次出现的关键字冲突问题  ---  没办法、就是这么坑

一样的操作、打开：/usr/local/lib/python3.7/site-packages/pyspider/fetcher/tornado_fetcher.py，将async改为：asyncs(建议使用编辑器批量修改，具体改为什么、随意)

继续测试、启动：pyspider all 

(这里简单说一下、每次启动的时候都会出现以下情况)

这个是端口占用问一下、经常使用linux 的人这个应该不是什么问题

处理方式：   查看占用端口的PID   lsof -i:25555          杀死这个PID：kill -9 57349

接下来继续启动、你会发现，还是报错。。  是不是醉了，淡定、淡定、淡定……

其实这个还是老问题：关键字占用问题、同样的去修改即可：

打开：/usr/local/lib/python3.7/site-packages/pyspider/webui/app.py     将async改为：asyncs(建议使用编辑器批量修改，具体改为什么、随意)

修改完、杀死进程、启动

对、是的、又爆了…… 而且这个问题比较尴尬，这个是pycurl 安装错误问题、网上有好多教程

下面的操作是无效的

（   pip uninstall pycurl

export PYCURL_SSL_LIBRARY=openssl

pip install pycurl --compile  ）

结果你会发现、不行，怎么办？我测试了直接在github 上下载源码、然后安装，还是不行

别急、解决方法来了：

pip3 uninstall pycurl# 卸载库

export PYCURL_SSL_LIBRARY=openssl

export LDFLAGS=-L/usr/local/opt/openssl/lib

export CPPFLAGS=-I/usr/local/opt/openssl/include# openssl相关头文件路径

pip3 install pycurl --compile --no-cache-dir # 重新编译安装

执行完之后测试： 

OK！！！但是、但是、但是……别激动，可能还有问题

再次启动：

是的、这是我遇到的最后一个坑了、

这是WsgiDAV发布了版本 pre-release 3.x导致的，所以只要把版本降下来就好了。

执行命令：pip3 install wsgidav==2.4.1

终于完成了、现在可以很嚣张的启动了

查看端口占用程序、杀死、启动：

打开浏览器：http：// localhost：5000 /

完成！！！