前言

最近想学点数据分析的知识，于是想到先用爬虫爬点数据下来，后面能够利用数据做些分析处理。由于之前没有做过爬虫的相关项目，调查后了解到除了主流Python外，Java爬取数据也是挺方便的，可以利用Webmagic框架进行爬取。

项目简介

因为要把数据存下来，虽然利用Webmagic框架的一些自带的Pipeline如JsonFilePipeline可以很容易的将数据存到本地，但这里为了更好地学习这个框架，我选择了自己编写定制一个操作数据库的Pipeline进行数据持久化存储。对于这种小项目，操作数据库实际用Statement编写插入语句等就行。但由于我没怎么用过Hibernate，平时用Mybatis比较多，想借此练练手，同时考虑到可能要进行一些拓展，所以就用了Hibernate来进行数据操作存储。因此项目框架选型就定为Webmagic框架+Hibernate框架。主要内容包括：实现Webmagic的PageProcessor，定制Pipeline，Scheduler。

Webmagic简介

按照Webmagic官网介绍，该框架有四大组件：PageProcessor、Scheduler、Downloader和Pipeline。分别对应爬虫生命周期中的下载、处理、管理和持久化等功能。整体架构图如下：

Webmagic架构图.png

实际上我们需要操作的只是实现PageProcessor，其他三个Scheduler、Downloader和Pipeline都有提供现成的实现类给我们选择。而Spider是一个控制引擎，在我们编写好PageProcessor、Scheduler、Downloader和Pipeline之后，就可以用Spider来启动爬数据了。在本项目中，我将实现一个PageProcessor，定制下载图片和存储数据到数据库的Pipeline，以及定制一个Scheduler。

利用Hibernate插入数据

1、引入依赖

在使用Hibernate之前，需要先引入依赖，下面这几个是比较重要的依赖，包括了Webmagic框架需要引入的依赖，在pom文件中添加，将相应的包引入到项目中。

        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-core</artifactId>
            <version>0.7.3</version>
        </dependency>
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-extension</artifactId>
            <version>0.7.3</version>
        </dependency>
        <dependency>
            <groupId>org.hibernate</groupId>
            <artifactId>hibernate-entitymanager</artifactId>
            <version>5.0.12.Final</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.43</version>
        </dependency>

2、设置配置文件

接下来需要在resources/META-INF中添加一个persistence.xml，用于数据库的一些配置。文件内容如下：

<!--?xml version="1.0" encoding="UTF-8"?-->
<persistence xmlns="http://java.sun.com/xml/ns/persistence" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://java.sun.com/xml/ns/persistence http://java.sun.com/xml/ns/persistence/persistence_2_0.xsd" version="2.0">
    <persistence-unit name="persistenceUnit" transaction-type="RESOURCE_LOCAL">
        <properties>
            <property name="hibernate.dialect" value="org.hibernate.dialect.MySQL5InnoDBDialect"/>
            <property name="hibernate.hbm2ddl.auto" value="update"/>
            <property name="hibernate.connection.driver_class" value="com.mysql.jdbc.Driver"/>
            <property name="hibernate.connection.username" value="root"/>
<!--            <property name="hibernate.connection.password" value=""/>-->
            <property name="hibernate.connection.url" value="jdbc:mysql://localhost:3306/test?useSSL=false&amp;characterEncoding=UTF-8"/>
            <property name="hibernate.show_sql" value="true"/>
        </properties>
    </persistence-unit>
</persistence>

3、构建实体类

完成配置之后，需要创建实体类与数据库表相映射。这里我将爬简书数据，所以建了一张t_simple_book表，并且先简单地只设计了三个字段：id、title、user，分别对应主键、文章标题、用户名。所以对应的实体类对象如下：

@Data
@Entity
@Table(name = "t_simple_book")
public class SimpleBook {
    @Id
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Integer id;

    @Column(name = "title")
    private String title;

    @Column(name = "user")
    private String user;
}

并定义了一个插入数据的静态方法：

public static <T> void insertOneData(T data) {
        EntityManagerFactory factory = Persistence.createEntityManagerFactory("persistenceUnit");
        EntityManager entityManager = factory.createEntityManager();
        entityManager.getTransaction().begin();
        entityManager.persist(data);
        entityManager.getTransaction().commit();
        entityManager.close();
        factory.close();
    }

到此为止，就可以往数据库里插入数据了。当然，这样做会不断地创建及关闭连接对象，影响性能。先不管，后面做连接池处理就行。

实现PageProcessor

接下来就可以实现PageProcessor，做一些爬取数据的相关工作了。简书的首页即是列表页，每次重新请求就能够重新刷出新的文章列表。所以当我们不断把首页网址加入到请求中，就能一直不断地刷出新的文章列表。而Page.addTargetRequests()方法会将请求加入到Page内部的List中，并且会不断地加入到Scheduler内部的队列中，再通过队列poll()出来进而发起请求。因此，可以采取的思路就是，爬取每一页的列表的URL加入到请求中，再把首页网址也加入，这样就能一直不断地爬取新内容了。当进入到文章详情页后，就可以对页面元素进行分析，提取需要的内容出来了。这里我只提取了文章标题、作者、以及文章中所有出现的图片的URL。

定制Pipeline

我写了两个Pipeline，一个用于下载图片，另外一个用于将文章的一些数据写入到数据库中。Pipeline实际上就是对PageProcessor的再加工处理。所以实际上你在Pipeline中完成的工作，在PageProcessor中都可以完成。但由于两者是对应爬虫的不同阶段，分开来好一些。正如，我所写的两个Pipeline实际上用一个Pipeline处理就可以，但我认为它们完成的是不同的工作，分开写结构会比较清晰。于是我就采取了分别写两个Pipeline的方式。

定制Scheduler

Scheduler在爬虫阶段主要的工作是能够不断把请求添加到队列中，再不断把队列中的请求poll出来。在写项目的时候，有时候为了测试一些结果，需要启动程序，但启动之后就会不断地爬取下去，除非终止程序。那么我就想能不能做到让程序自己达到一定条件后就自动停止。所以我查看了源码，而要知道程序最终是怎么停止的，就需要看下Spider.run()方法。源码如下：

    public void run() {
        this.checkRunningStat();
        this.initComponent();
        this.logger.info("Spider {} started!", this.getUUID());

        while(!Thread.currentThread().isInterrupted() && this.stat.get() == 1) {
            final Request request = this.scheduler.poll(this);
            if (request == null) {
                if (this.threadPool.getThreadAlive() == 0 && this.exitWhenComplete) {
                    break;
                }

                this.waitNewUrl();
            } else {
                this.threadPool.execute(new Runnable() {
                    public void run() {
                        try {
                            Spider.this.processRequest(request);
                            Spider.this.onSuccess(request);
                        } catch (Exception var5) {
                            Spider.this.onError(request);
                            Spider.this.logger.error("process request " + request + " error", var5);
                        } finally {
                            Spider.this.pageCount.incrementAndGet();
                            Spider.this.signalNewUrl();
                        }

                    }
                });
            }
        }

        this.stat.set(2);
        if (this.destroyWhenExit) {
            this.close();
        }

        this.logger.info("Spider {} closed! {} pages downloaded.", this.getUUID(), this.pageCount.get());
    }

可以看到，在while循环里面，通过Scheduler不断地poll出request，当request不为null时，就会启动线程去执行它。而当request一直为null时，活跃线程执行完任务后就能够退出循环了。所以我想到了写一个计数的Scheduler，可以统计下载的页面，当达到指定值时，poll方法就一直返回null，这样就能退出了。这样我就能指定只下载一定量的页面就行了。同样的思路，也可以写一个计时的Scheduler，给定一个时间段，当达到条件就退出。下面代码即是我实现的计数Scheduler，仿照的是自带的QueueScheduler进行实现。

@ThreadSafe
public class CountableScheduler extends DuplicateRemovedScheduler implements MonitorableScheduler {

    private BlockingQueue<Request> queue = new LinkedBlockingQueue();

    private int count = -1;

    public CountableScheduler() {
    }

    public void pushWhenNoDuplicate(Request request, Task task) {
        this.queue.add(request);
    }

    @Override
    public Request poll(Task task) {
        if (count == -1) {
            return (Request)this.queue.poll();
        }
        if (count > 0) {
            count--;
            return (Request)this.queue.poll();
        }else {
            this.queue.clear();
            return null;
        }
//        return (Request)this.queue.poll();
    }

    @Override
    public int getLeftRequestsCount(Task task) {
        return this.queue.size();
    }

    @Override
    public int getTotalRequestsCount(Task task) {
        return this.getDuplicateRemover().getTotalRequestsCount(task);
    }

    public CountableScheduler setCount(int count) {
        if(count <= 0) {
            return this;
        }
        this.count = count + 1;
        return this;
    }
}

后语

本次的爬虫经历就介绍到这里，简单地记录下我自己对这个框架的一个浅显的学习，后面我想利用Elasticsearch+Webmagic做一个对大量数据做分析处理的项目。