摘要
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架
本文是在weindows环境下进行安装
安装步骤
1、创建虚拟环境， 并使用虚拟环境
python自带有创建虚拟环境的方法，也可以使用vitualenv方法
创建一个名叫venv的虚拟环境:
python -m venv venv
2、激活虚拟环境
进入虚拟环境文件里Scripts里，执行activate
image.png
3、升级更新pip
python -m pip install -U pip
4、安装依赖库
地址
找到 32位的twisted文件，下载，放好文件位置
执行安装：
pip install C:\Users\Administrator\Desktop\Twisted-18.4.0-cp36-cp36m-win32.whl
image.png
5、安装scrapy
pip install scrapy
6、创建项目
scrapy startproject 文件名 .
其中 . 表示在当前路径下创建项目
image.png
7.创建爬虫并赋予根url
scrapy genspider + 爬虫名字 + 根url
image.png
8、pycharm中打开文件
image.png
网友评论