1、首先安装wheel
# 安装依赖包
pip install wheel
2、然后下载驱动
https://www.lfd.uci.edu/~gohlke/pythonlibs/
下载网址(在最后面)
下载好后放到桌面,Shift cmd命令符窗口
pip install Twisted-17.9.0-cp36-cp36m-win32.whl
安装
3、安装pywin32
pip install pywin32
4、安装pip install Scrapy
pip install Scrapy
5、创建项目
scrapy startproject ArticleSpider
scrapy startproject spider1
6、创建爬虫类
# tencentPostion为爬虫名,tencent.com为爬虫作用范围
scrapy genspider tencentPostion "tencent.com"
scrapy genspider test "tencent.com"
#自动爬虫的创建
scrapy genspider -t crawl Crawlspider domain.com
ubuntu安装scrapy
1、安装python-dev
# 这里的python需要跟python版本相同
sudo apt-get install python-dev
2、依次安装(我直接跳过了这个阶段 )
sudo apt-get install build-essential
sudo apt-get install libxml2-dev
sudo apt-get install libxslt1-dev
sudo apt-get install python-setuptools
3、最后正常安装
pip install scrapy
4、输入scrapy验证是否安装成功了
网友评论