scrapy安装和使用

在Windows平台上安装scrapy，直接采用pip install scrapy从来没有成功过。

下面说一下安装步骤：

首先scrapy的安装之前需要安装这个模块：wheel、lxml、Twisted、pywin32，最后在安装scrapy

1.lxml这个库是用来做xpath提取的，这个库非常容易安装，直接在cmd窗口输入：pip intsall lxml

2.直接在cmd中输入pip install wheel，如果你是刚安装python，按可能在安装的时候会报错，原因是pip的版本太低，故你需要在此步骤之前，更新一下pip，直接在cmd中输入：python -m pip install --upgrade pip

（whl就是一种zip包格式，所以我们需要先安装wheel模块才能安装whl包）

3.安装Twisted
下载链接：https://www.lfd.uci.edu/~gohlke/pythonlibs/

我下载的是这个：

image.png

在Twisted所在的文件夹cmd进入命令行窗口：
pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

4.安装pywin32
和步骤3一样。

image.png

5.pip install scrapy

6.打开cmd，输入scrapy，查看信息，有信息就肯定成功了

image.png

scrapy使用

scrapy startproject myspider        -----------创建scrapy项目
cd myspider                         -----------进入myspider目录
scrapy genspider baidu baidu.com     ------------创建爬虫文件

scrapy crawl baidu                   -------------运行文件