1.尝试pip install Scrapy直接安装,结果报错,一团乱麻。。。

2.查看scrapy的官方文档
https://doc.scrapy.org/en/latest/intro/install.html#things-that-are-good-to-know
得知:安装在安装scrapy前需要安装以下依赖包:
lxml,python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高。
parsel,HTML和XML数据提取库。
w3lib,用于处理URL和网页编码的多功能python包。
twisted,基于事件驱动的网络引擎框架。
cryptography和pyOpenSSL, 用于处理各种网络级安全需求
现在回过头来,分析最开始的错误信息,发现是在安装twisted过程中出错,于是我尝试pip install twisted单独安装Twisted, 依然是报错。错误信息为:Microsoft Visual C++ 14.0 is required,然而后面的链接又打不开。
后来发现是twisted与高版本的python不兼容的问题,笔者使用的python版本为64位的3.7
于是到Python扩展包的非官方下载网站下载适应版本的twisted,打开一看,眼花缭乱的安装包!没关系,这里直接使用网页内容的搜索功能进行查找

根据笔者的python版本选择安装包如下:

然后定位到安装包的下载文件夹,使用pip进行安装,显示安装成功!

最后再重复最开始的操作,pip install Scripy
终于大功告成!

网友评论