运行平台:Windows
Python版本:Python3.x
IDE: PyCharm
一、Scrapy简介:
-
Scrapy,Python开发的一个快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。
-
Scrapy吸引人的地方在于它是一个框架,任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类,如BaseSpider、sitemap爬虫等,最新版本又提供了web2.0爬虫的支持。
-
Scrap,是碎片的意思,这个Python的爬虫框架叫Scrapy。
二、Scrapy安装:
1、直接使用指令pip3 install scrapy,发现报错:
- Failed building wheel for lxml
- Microsoft Visual C++ 10.0 is required
- Failed building twisted
- Unable to find vcvarsall.bat
原因:Scrapy的安装需要依赖相应的第三方库。
2、解决办法
在http://www.lfd.uci.edu/~gohlke/pythonlibs/有很多用于windows的编译好的Python第三方库,我们下载好对应自己Python版本的库即可。
(1)在cmd中输入指令python,查看python的版本,如下:
(2)登陆http://www.lfd.uci.edu/~gohlke/pythonlibs/,Ctrl+F搜索Lxml、Twisted、Scrapy,下载对应的版本,例如:lxml-4.2.5-cp36-cp36m-win_adm64.whl,表示lxml的版本为4.2.5,对应的python版本为3.6-64bit。我下载的版本如下图所示:
(4)依次执行如下命令:
- pip3 install wheel
- pip3 install lxml-4.2.5-cp36-cp36m-win_adm64.whl
- pip3 install Twisted-18.9.0-cp36-cp36m-win_amd64.whl
- pip3 install Scrapy-1.5.1-py2.py3-none-any.whl
(5)Srapy已经安装成功,还要下载pywin32,找到对应版本下载,一路下一步安装即可。安装完成后,就可以正常使用Scrapy了。
URL:https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/
验证:(只要不报错即安装Scrapy成功)
人生苦短,我用python。
您的关注与点赞,是我努力的源泉。谢谢。
网友评论