简介
scrapy是一个强大的异步爬虫框架，具有丰富的组件，有了scrapy框架，我们只需要关心爬虫的逻辑就可以了。
scrapy框架的安装
scrapy的安装有多种方式,它支持 Python2.7版本及以上或 Python3.3版本及以上。下面说明 Python3环境下的安装过程
scrap依赖的库比较多,至少需要依赖库有 Twisted14.0,m34, pyopenSSL0.14。而在不同平台环境又各不相同,所以在安装之前最好确保把一些基本库安装好,尤其是 Windows
windows平台
1.Anaconda
这种方法是一种比较简单的安装 scrap的方法(尤其是对 Windows来说),你可以使用该方法安装。
Anaconda是包含了常用的数据科学库的 Python发行版本,如果没有安装,可以到这里下载对应平台的包安装。如果已经安装,那么可以轻松地通过 conda命令安装 Scrap。
安装命令如下
conda install scrapy
方式二、比较繁琐
- 安装lxml
最好的安装方式是通过wheel文件来安装:从这里找到lxm的相关文件。
假如是 Python3.5版本, WIndows64位系统,那就找到
lxm-3.72cp35cp35 m-win amd64whl这个文件井下载,然后通过pip安装:
下载后，运行如下命令安装：
pip install wheel
pip install lxm1-3.7.2-cp35-cp35m-win_amd64.whl
注意：上面的whl文件为你下载的那个文件名，要切换到下载文件所在的目录执行上述指令
- 安装 pyOpenSSL
官方网站下载 wheel文件，如当前最新版本
名称是pyOpenSSL-19.0.0-py2.py3-none-any.whl ，下载后安装即可。
pip instal pyOpenSSL-19.0.0-py2.py3-none-any.whl
- 安装 Twisted
同理，下载 wheel文件，利用pip安装即可。
如Python 3.5版本，Windows 64位系统，下载Twisted‑19.2.0‑cp35‑cp35m‑win_amd64.whl，然后使用pip安装：
pip instal Twisted‑19.2.0‑cp35‑cp35m‑win_amd64.whl
- 安装 pywin32
从官方网站下载对应版本的安装包安装即可。
- 安装 scrapy
最后安装 scrapy即可，依然使用pip，命令如下:
pip instal scrapy
linux 平台： CentOS、RedHat、Fedora
1.安装依赖库
确保一些必须的类库已经安装 ， 运行如下命令:
sudo yum groupinstal development tools
sudo yum instal python34-devel epel-release libxslt-devel libxml2-devel openssl-devel
2.安装scrapy
pip instal scrapy
Ubuntu、Debian、Deepin平台
1.依赖库安装
首先确保一些必须的类库已经安装 ， 运 行如下命令:
sudo apt-get instal build-essential python3-dev libssl-dev libffi-dev
libxml2 libxml2-dev libxslt1-dev zliblg-dev
2.安装 Scrapy
利用pip安装 Scrapy即可， 运 行如下命令:
pip3 instal1 scrapy
Mac OS平台
1.依赖库安装
在Mac上构建Scrapy的依赖库需要 C编译器以及开发头文件，它一般由Xcode提供， 运 行如下命令安装即可:
xcode-select --instal1
2.安装 scrapy
利用pip安装 scrapy即可， 运 行如下命令:
pip3 instal1 scrapy
验证是否安装成功
安装之后，在命令行下输入scrapy ，如果出现类似下方的结果，就证明Scrapy安装成功。
公众号‘菜鸟名企梦’后台发送“scrapy”即可获取scrapy的pdf安装文档
扫描下方二维码，及时获取更多互联网求职面经、java、python、爬虫、大数据等技术，和海量资料分享：
公众号菜鸟名企梦后台发送“csdn”即可免费领取【csdn】和【百度文库】下载服务；
公众号菜鸟名企梦后台发送“资料”:即可领取5T精品学习资料、java面试考点和java面经总结，以及几十个java、大数据项目，资料很全，你想找的几乎都有
扫码关注，及时获取更多精彩内容。（博主今日头条大数据工程师）
网友评论