爬虫子从0开始(二)

需要爬虫用到的相关软件都下好了，下面我们开始爬虫，我们首先要先创建一个项目scrapy框架已经给出了命令行创建项目和创建spider，直接上代码,我们在桌面创建一个项目
我的scrapy装到MyPython环境了 先切换到python的环境

$source activate MyPython

执行下段代码

$scrapy startproject myproject #(项目名称)

WX20170901-111105@2x.png

创建好的项目结构是这样的

WX20170901-111336@2x.png

按提示我们来创建一个spider
spider我的理解就是爬取一个网页并解析爬取下来的数据都在spider这个类里面处理,直接上图

1D0B68B6-134F-4201-8237-41536546E9B1.png

创建完spider之后spider文件夹会多出来一个类

WX20170901-111723@2x.png

接下来用Pycharm打开myproject项目

WX20170901-113123@2x.png

先打开settings类配置一下MyprojectPipeline 路径
今天先更新到这