Scrapy是一个健壮的网络框架，他可以从各种数据源中抓取数据。作为一个普通的网络用户，你会发现自己经常需要从网站上获取数据。而在使用Scrapy之前，我们需要搭建Scrapy的运行环境。
1、安装Python3和pip环境
Linux通常自带的有Python2的环境，此时如果想使用Python3，但是因为Python2被很多其他应用关联，所以我们不能破坏原有的Python2的环境。参考：Linux(Centos)下安装Python3.6和pip
安装好python3和pip后，升级pip（如果pip的版本太老，很多包都无法安装。）
python3 -m pip install --upgrade pip
2、安装Scrapy
由于scrapy相关依赖较多，先安装依赖
w3lib解决安装错误：ImportError: No module named w3lib.http
pip install w3lib
Twisted解决安装错误：ImportError: No module named twisted
pip install twisted
lxml解决安装错误：ImportError: No module named twisted
pip install lxml
3、验证scrapy是否安装成功
import scrapy
未出现错误，则表示scrapy安装成功。
网友评论