Python环境下Scrapy爬虫框架安装

配置Python环境

首先确认电脑配置好python环境，如果是mac用户，进入终端输入以下指令，如果是windows，进入cmd输入以下指令
python --version

如未安装，百度搜索相应教程安装python，2、3版本都可以的，mac会自带python2。相应python安装过程可以参考静觅博客

安装Scrapy

安装好python环境后输入
pip install scrapy
即会自动搜索安装好scrapy模块。

这里我是用mac和anaconda环境，作为python的一个集成环境anaconda相当好用，如果有学习机器学习的意向，推荐使用anaconda。安装时选择添加到环境变量path，则无需再配置环境变量，非常方便，下载来就可以用了。
anaconda在这里下载
windows用户安装完成后，打开 Anaconda Prompt ，输入
conda list
查看是否安装有scrapy，一般不会自带scrapy，需要自己安装。输入
conda install scrapy
则会自动搜索安装scrapy。
mac用户打开终端查看python版本是否为anaconda。是则安装scrapy，不是再输入以下指令
export PATH=~/anaconda/bin:$PATH

之后重复上面的步骤，用pip install或conda install指令安装scrapy即可。