Scrapy入门

最近稍微学习了下爬虫框架，以前都是裸写Requests和Beautifulsoup来从网页中获取我想要的数据，为了后面高效的爬虫，觉得还是应该认真学习一个爬虫框架，在Scrapy和Pysipder之间进行比较，最终还是选择了Scrapy，其基于异步框架twisted，先从用法入手，学习的过程中应该也会稍微接触点源码。本博客会记录下博主学习Scrapy的过程。

相关资料

1. 官网
2. 官方Doc
3. Github

环境搭建

Python版本：Python 3.6.5
安装方法：在类Linux/Unix下使用pip install scrapy安装

我是在Docker中进行开发的，也推荐大家使用Docker，真的方便很多(如何安装和搭建Docker，可以在网上搜索到很多资料)。下面是我的Dockerfile文件。

From python:3
WORKDIR /usr/src/app
RUN apt-get update \
        && apt-get -y  install vim \
        && apt-get -y  install iputils-ping \
        && pip install --no-cache-dir --upgrade pip \
        && pip install scrapy \
        && apt-get -y  remove --purge vim \
        && apt-get -y  remove --purge iputils-ping

1. docker build -t python:scrapy .，生成一个安装scrapy镜像；
2. docker run -it python:scrapy bash，进入docker环境。

这样的我们的环境就搭建好了。

Scrapy命令

Scrapy安装后会提供一个系统命令，如下：

root@e579691b5c9f:~/newproject# scrapy -h
Scrapy 1.5.0 - project: newproject

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  check         Check spider contracts
  crawl         Run a spider
  edit          Edit spider
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  list          List available spiders
  parse         Parse URL (using its spider) and print the results
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

Use "scrapy <command> -h" to see more info about a command

简要讲一下会经常用到的命令：

1. 创建新项目

scrapy startproject projectname
该命令会在当前目录下创建一个新目录，并自动在目录下创建需要的文件，用tree命令来看下目录结构。

root@e579691b5c9f:~# tree newproject/
newproject/
├── newproject
│   ├── __init__.py
│   ├── __pycache__
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders
│       ├── __init__.py
│       └── __pycache__
└── scrapy.cfg

简单介绍下各个文件/目录的作用：

1. scrapy.cfg：该文件所在的目录是项目的根目录，里面包含了项目部署的相关信息；
2. items.py：定义了爬虫要爬去的字段；
3. middlewares.py：定义相关的中间件，后面会知道如何编写中间件；
4. settings.py：项目的配置文件
5. pipelines.py：管道文件，抓取后的item会被送到pipeline，你可以对数据清洗、数据持久化保存等，这是爬去的内容最后会被送到的地方。
6. spiders目录：定义爬虫逻辑的地方，自己编写的spider都放在这个文件下面。

2. 创建一个新spider

scrapy genspider spider_name domain
该命令会在项目下面按照模板创建一个新的spider，当然，可以使用-t template_name来指定使用的模板文件，scrapy提供了几种模板文件，具体可以使用命令scrapy genspider -l查看，默认使用basic模板文件。

3. 查看可用的spider

scrapy list
该命令会显示项目中可用的spider，同时也会进行语法检查。

4. 进入scrapy shell交互模式

scray shell [url]
该命令会进入scrapy shell模式，如果传了url，会自动从抓取url，并生成response对象，在这个模式下，可以进行简单的调试，用来看爬取规则是否生效。具体可见文档。

5. 执行爬虫

scrapy crawl spider_name
该命令会用来执行爬虫，默认会在stdout打印出爬虫log，可以带命令--nolog来去小打印爬虫。还可以指定-o file_name来讲爬取的内容输出到文件，scrapy支持json/csv/xml等格式的文件。

本篇只介绍一些常用的命令，剩余的命令可以通过scraoy command -h来查看具体的用法。