美文网首页
小记一次安装pyspider遇到的问题

小记一次安装pyspider遇到的问题

作者: UU小宝 | 来源:发表于2018-03-07 01:17 被阅读0次

    环境,腾讯云小鸡。centos7.4 64位,自带的python2.7.5 安装pyspider总是报错,索性直接升级到python3.6(这篇文章记录了如何升级。https://www.jianshu.com/p/60f3aedfcef3)


    升级之后,pip install pyspider

    提示:Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-8xt94a_8/pycurl/

    pycurl没有安装成功。

    单独安装pycurl:pip install pycurl

    提示:No such file or directory: 'curl-config': 'curl-config'

    没有curl-config,因为pycurl 依靠的是curl,所以重新安装一遍curl:

    wget http://curl.haxx.se/download/curl-7.36.0.tar.gz

    tar -zxvf curl-7.36.0.tar.gz

    cd curl-7.36.0

    /configure

     make && make install

    export LD_LIBRARY_PATH=/usr/local/lib

    然后再次 pip install pycurl 成功,

    然后 pip install pyspider 成功。

    结果发现运行后,也遇到同样的问题:

    got an unexpected keyword argument 'io_loop'

    此问题解决办法学习自pyspider的github的issues

    原地址:https://github.com/binux/pyspider/issues/771

    解决方法:由于最新版的Tornado 5.0的写法和pyspider不兼容,所以要降级到4.5版本

    pip uninstall tornado 先卸载

    pip uninstall tornado==4.5 再安装4.5版本

    大功告成。

    我看issues的问题也是最新提出的,估计是个新问题,我想开一个帖写一下解决方法,方便其他人索引。

    https://www.jianshu.com/p/a7e3c78c51c4

    相关文章

      网友评论

          本文标题:小记一次安装pyspider遇到的问题

          本文链接:https://www.haomeiwen.com/subject/icudfftx.html