Ubuntu 16.04 安装pyspider

• 安装支持类库

sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml libpcap-dev libpq-dev

• 安装pip

sudo apt-get install python-pip

• 安装phantomjs

sudo apt-get install phantomjs

• 安装pyspider

pip install pyspider

• 运行程序

pyspider all

• 如果pyspider 启动时发生如下错误

ValueError: Invalid configuration:
  - Deprecated option 'dir_browser.enable': use 'middleware_stack' instead.
  - Deprecated option 'domaincontroller': use 'domain_controller' instead.

• 解决方案如下

由于wsgidav发布的3.x版本目前仍然是测试版，相对于2.x(例如2.4.1)更改了一些用法，才会出现上面报错。pyspider的3.0及以上版本在安装时，会默认安装wsgidav的3.x版（具体的版本可能会有偏差）。
其实上面错误信息已经提示该如何改了，不过那样改比较麻烦(未尝试)。
可以换个方法，换回wsgidav的2.x版本就不会报错了。先把3.x版卸载，再装2.x版（pip安装wsgidav会默认安装2.x版  我的是2.4.1版）。
下面是具体的卸载安装的命令
windows下进入cmd,(linux下打开终端）,输入： 
                     pip uninstall wsgidav  
                     pip install wsgidav
如果报错失败，按照下面的再试一次，（一般linux不会出错，windows下可能输入下面的命令）
                     python -m pip uninstall wsgidav
                     python -m pip install wsgidav
如果安装的wsgidav版本还是3.x版本,可以在卸载这个版本之后， 在安装命令后面加上具体版本号
例如:  pip install wsgidav==2.4.1
或者:  python -m pip install wsgidav==2.4.1
重启电脑

• 其他报错

安装 pyspider, 报错 --please specify --curl-dir ，说是要安装 pycrul, 那就安装。参考文档：http://blog.csdn.net/ximingren/article/details/72780907
安装 pycrul 也是一直报错 pycurl-7.43.1-cp36-cp36m-win_amd64.whl is not a supported wheel on this platform. ，没法子换成了 32 位的python，下载 pycrul 地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl
输入pyspider 报错: ImportError: cannot import name 'etree'
查找原因，是因为 lxml 版本出错。lxml 下载网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
对于 lxml 版本 :在cmd中，输入python进入python。
然后输入import pip;print(pip.pep425tags.get_supported())，界面上输出当前python的版本信息 , 显示的第一个就是了，下载好输入 pip install lxml-4.2.0-cp36-cp36m-win32.whl
安装，成功。

Ubuntu 16.04 安装pyspider
pyspider 启动错误
安装使用 pyspider