美文网首页
scrapy的简介与安装

scrapy的简介与安装

作者: a荷包蛋 | 来源:发表于2018-08-29 14:11 被阅读0次

scrapy 框架简介:他是由c++语言编写的底层代码的框架、在开始爬虫时我们可以创建我们的爬虫项目。在scrapy框架里面,我们可以使用selenium,requests,js网页分析,进行数据爬取,爬取完成后,我们可以直接调取管道模块,对我们的数据进行存储。

一:windows下安装

首先检测系统是否已安装,编辑代码:scrapy,显示如图一所示,证明已安装

图一

开始安装scrapy

    1.pip install scrapy

    2.pip install pypiwin32   

二:linux 下安装scrapy

pip install scrapy

三创建scrapy项目

1. scrapy startproject <project name>

2.scrapy genspider xx  xx.com

相关文章

网友评论

      本文标题:scrapy的简介与安装

      本文链接:https://www.haomeiwen.com/subject/dtftwftx.html