Windows平台安装Scrapy

作者: talentsun | 来源:发表于2016-11-05 19:41 被阅读0次

    环境: Win10 Python 3.5.2
    前提:pip环境变量已经配置
    python 插件资源

    开始安装

    1. cmd 输入 pip3 install scrapy
      一般会提示:

    You are using pip version x.x.x, however version x.x.x is available.
    You should consider upgrading via the 'python -m pip install --upgrade pip' command.
    可以按提示输入python -m pip install --upgrade pip 升级

    1. 重新输入命令可能会遇到一系列的问题:

    error: Unable to find vcvarsall.bat

    有两种解决方法:

    • 安装 vs运行库
    • 使用wheel

    建议使用wheel:

    输出pip3 install wheel 安装wheel
    在python插件资源下载scrapy的wheel文件
    将文件放置某一路径
    cmd切换到该路径 输入pip3 install [XXX].whl

    这是仍然出现error: Unable to find vcvarsall.bat

    解决方法是从Python插件资源下载对应的twisted安装,安装方法类似

    • 重新执行
      pip3 install Scrapy-1.2.1-py2.py3-none-any.whl
      报错 failed build lxml for wheel
      原因是lxml版本问题
      类似twisted 解决


      B_8DLU6B$XUQO5YASX`NEN3.png

    验证

    输入scrapy bench

    报错:

    BIQ6Z6ZNTKVX)X1A~J0$9Z6.png

    原因:

    PyWin32 没有安装
    类似方法安装

    重新执行scrapy bench
    报错:

    hhhh.png

    解决方法:

    拷贝\PythonX\Lib\site-packages\pywin32_system32*
    至C:\Windows\System32

    重新执行scrapy bench

    rrrr.png

    至此,Win环境成功安装最新Scrapy,可以进行你的Scrapy框架爬虫编程了。

    相关文章

      网友评论

        本文标题:Windows平台安装Scrapy

        本文链接:https://www.haomeiwen.com/subject/dkftrttx.html