美文网首页
scrapy安装记录

scrapy安装记录

作者: 时岑66 | 来源:发表于2019-05-11 10:21 被阅读0次

1.尝试pip install Scrapy直接安装,结果报错,一团乱麻。。。


错误提示

2.查看scrapy的官方文档
https://doc.scrapy.org/en/latest/intro/install.html#things-that-are-good-to-know
得知:安装在安装scrapy前需要安装以下依赖包:
lxml,python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高。
parsel,HTML和XML数据提取库。
w3lib,用于处理URL和网页编码的多功能python包。
twisted,基于事件驱动的网络引擎框架。
cryptography和pyOpenSSL, 用于处理各种网络级安全需求

现在回过头来,分析最开始的错误信息,发现是在安装twisted过程中出错,于是我尝试pip install twisted单独安装Twisted, 依然是报错。错误信息为:Microsoft Visual C++ 14.0 is required,然而后面的链接又打不开。
后来发现是twisted与高版本的python不兼容的问题,笔者使用的python版本为64位的3.7
于是到Python扩展包的非官方下载网站下载适应版本的twisted,打开一看,眼花缭乱的安装包!没关系,这里直接使用网页内容的搜索功能进行查找

python包下载网站

根据笔者的python版本选择安装包如下:


twisted安装包选择

然后定位到安装包的下载文件夹,使用pip进行安装,显示安装成功!


安装twisted
最后再重复最开始的操作,pip install Scripy
终于大功告成!
scripy安装

相关文章

  • Scrapy框架安装过程

    由于安装scrapy框架需要依赖很多其他的库,所以要先安装这些依赖库才能正常安装scrapy框架,这里简单记录一下...

  • Scrapy笔记

    Scrapy笔记 安装scrapy框架: 安装scrapy:通过pip install scrapy即可安装。 如...

  • scrapy安装记录

    1.尝试pip install Scrapy直接安装,结果报错,一团乱麻。。。 2.查看scrapy的官方文档ht...

  • PyCharm运行和调试Scrapy

    前言: PyCharm运行和调试Scrapy,首先需要安装Scrapy,安装Scrapy请点链接Scrapy的安装...

  • Scrapy安装

    1.安装scrapy使用anaconda安装Scrapy特别方便。conda install scrapy ,输...

  • scrapy + mongodb +redis 实现爬虫

    1. 安装scrapy pip install scrapy 安装scrapy-redis pip inst...

  • 简单 Scrapy 使用小结

    Scrapy 安装Scrapy pip install scrapy Scrapy Doc 查看Scrapy的文档...

  • Mac 安装Scrapy

    刚学习完Python,准备使用Scrapy练习爬虫。记录一下,在Mac环境下安装Scrapy的步骤及初始工程。 打...

  • pycharm中打开scrapy项目,import scrapy

    pycharm中打开scrapy项目,import scrapy报错问题 安装scrapy时,我是在全局安装,也就...

  • 爬虫-Scrapy框架使用

    Scrapy安装环境 : Python 3.6.4//安装 scrapypip3 install scrapy查看...

网友评论

      本文标题:scrapy安装记录

      本文链接:https://www.haomeiwen.com/subject/ulbtaqtx.html