scrapy的安装与使用

1月份的时候就曾经安装过scrapy，但是失败了，python的某些第三方库在windows7下面经常出现不兼容的问题。今天找到了一篇博文，按照方法安装成功了。

需要安装 xlml

（1）安装   pywin32-220.win32-py3.5.exe  提供pywin32API

（2）安装  Twisted-17.1.0-cp35-cp35m-win32.whl，使用pip安装总是报vc的dll文件缺失的错误，其实哪怕下个VS2015还是会报错，到第三方库网站上面下载Twisted-17.1.0-cp35-cp35m-win32.whl，然后使用 pip 本地安装，注意，不能保存在中文文件夹里面，python不认。

pip install E:\Download\Twisted-17.1.0-cp35-cp35m-win32.whl

pip install wheel                   # 用来安装whl格式文件的，可装可不装

（3）安装 Scrapy-1.4.0-py2.py3-none-any.whl  ， 只要Twisted能够成功安装，scrapy就基本上没有问题了。还是到第三方库网站上面下载对应版本的Scrapy-1.4.0-py2.py3-none-any.whl，本地安装即可。

pip install E:\Download\Scrapy-1.4.0-py2.py3-none-any.whl

下面是第三方库的网址链接，应有尽有，版本齐全，良心网站

Unofficial Windows Binaries for Python Extension Packages

scrapy startproject XXXXX  #创建名字为XXXXX的空scrapy项目。

scrapy crawl XXspider #爬虫或者自己命名的爬虫开始启动，注意要先变更到自己的项目文件夹中，否则不会启动。例如：

cd  C:\Users\Administrator\PycharmProjects\Scrapy project\scrapytest

scrapy startproject MySpider