Scrapy是一个为了爬取网站数据提取结构性数据而编写的应用框架，可以应用于数据挖掘，信息处理或存储历史数据等一些列的程序中。Scrapy最初就是为了网络爬取而设计的。
安装
直接pip3 install scrapy
可能会提示需要安装microsoft Visual C++ 14.0
直接下载安装
从https://www.lfd.uci.edu/~gohlke/pythonlibs/下载对应的Lxml、Twisted、Scrapy
cd C:\Users\你的电脑用户\Desktop\scrapy-3.6-amd64
pip3 install wheel
pip3 install lxml-4.2.3-cp36-cp36m-win_amd64.whl
pip3 install Twisted-18.4.0-cp36-cp36m-win_amd64.whl
pip3 install Scrapy-1.5.0-py2.py3-none-any.whl
scrapy -h
如果没成功，还需要下载插件，应该pywin32模块对应版本
https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/
win10 64位安装时遇到32位 python问题，是需要更改注册表
这个64位的exe默认找的是3.6-32
win+r regedit
计算机\HKEY_LOCAL_MACHINE\SOFTWARE\Python\PythonCore\3.6\InstallPath
注册表.png
网友评论