写一个爬虫有多简单？答案是：不到30行代码

我用了不到30行代码，爬了知乎好多妹子图！！！

跟着我一步一步来，你也可以简简单单创建一个爬虫。

目标

爬虫的第一步就是决定要爬些什么。作为一个屌的不能再屌的屌丝，当然要爬妹子！！！

每当这个时候，就要拿出我的储备了。 欲罢不能的大美妞 ，要说妹子图的质量，还是得知乎啊。

分析

目标有了，我们就要先分析一下。页面结构。在页面中找任一个爬取目标，点击鼠标右键，选择【检查】选项。便会打开浏览器的控制台，并定位到我们的目标图片的节点上。如下图：

图中的img标签就是我们的爬取目标，我们可以明确的看到 data-original 元素的内容与 src 元素的内容都是图片的地址。经过验证， src 元素的内容可能会是缩略图地址，所以我们放弃 src 选择 data-original。

以上就是我们要分析的部分，接下来就是代码。

编码

新建项目

这里我们使用 maven 作为项目的依赖管理工具。

新建一个 maven 项目，并在 pom.xml 中引入依赖。

<dependencies>
        <dependency>
            <groupId>com.github.zhangyingwei</groupId>
            <artifactId>cockroach</artifactId>
            <version>1.0-Alpha</version>
        </dependency>
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>
        <dependency>
            <groupId>com.squareup.okhttp3</groupId>
            <artifactId>okhttp</artifactId>
            <version>3.8.1</version>
        </dependency>
        <!--json-lib-->
        <dependency>
            <groupId>net.sf.json-lib</groupId>
            <artifactId>json-lib</artifactId>
            <version>2.4</version>
            <classifier>jdk15</classifier>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.8.3</version>
        </dependency>
    </dependencies>

这里我们使用了爬虫框架 cockroach 。并引入了 log4j 作为日志框架，okhttp3 作为 http 客户端，json-lib 作为 json 解析工具，以及 jsoup 作为 html 解析工具。

建立包结构如下

• store 主要存放页面解析以及结果存储相关类
• utils 主要存放项目中用到的相关工具类
• App.java 项目入口

编码

程序主入口 App.java

public class App {
    public static void main(String[] args) throws InstantiationException, IllegalAccessException, InterruptedException {
        CockroachConfig config = new CockroachConfig().setAppName("知乎上的妹子们").setThread(10).setStore(ZhihuGirlsStore.class);
        TaskQueue queue = TaskQueue.of();
        getPageFrom(queue);
        CockroachContext context = new CockroachContext(config);
        context.start(queue);
    }

    private static void getPageFrom(TaskQueue queue) throws InterruptedException {
        String basePath = "https://www.zhihu.com/collection/72114548?page=";
        for (int i = 1; i <= 68; i++) {
            queue.push(new Task(basePath + i));
        }
    }
}

在上边的代码中，我们一共分为5步。

1. 我们创建了一个名称为 知乎上的妹子们 的爬虫，使用了 10 个线程来爬取内容，并指定了页面解析以及结果存储的处理类为 ZhihuGirlsStore.class
2. 创建了一个默认长度的任务队列
3. 初始化任务到任务队列中
4. 创建了一个 Cockroach 爬虫上下文对象
5. 启动爬虫

页面解析以及存储 ZhihuGirlsStore.java

public class ZhihuGirlsStore implements IStore {
    public void store(TaskResponse taskResponse) throws Exception {
        if (taskResponse.getTask().getGroup().equals("img")) {
            byte[] bytes = taskResponse.getResponse().body().bytes();
            ImageUtils.save(bytes);
        } else {
            Elements imgs = taskResponse.select(".zm-item-answer").select("img");
            imgs.stream().map(element -> element.attr("data-original")).forEach(url -> {
                try {
                    taskResponse.getQueue().push(new Task(url, "img"));
                } catch (Exception e) {
                    e.printStackTrace();
                }
            });
        }
    }
}

Cockroach 的 task 中为我们提供了 group 字段来标识每一个 任务，如果不设置，任务默认的 group 为 default 。
在本爬虫程序中，我们的 task 一共可分为两种，一种是解析页面得到页面中的图片地址，另外一种就是爬取图片内容。
这里我们通过 group 字段来区分两种任务，具体操作就是在解析到图片地址并添加到队列中的时候，给 task 设置 group 为 img，这样我们在收到一个结果的时候，就可以通过 task 中的 group 字段来区分我们要做何种操作（解析页面 / 保存图片）。

图片存储 ImageUtils.java

public class ImageUtils {
    public static void save(byte[] bytes) throws IOException {
        String fileName = UUID.randomUUID().toString();
        String dirpath = "meizhi2";
        File dir = new File(dirpath);
        if(!dir.exists()){
            dir.mkdirs();
        }
        FileOutputStream outputStream = new FileOutputStream(dirpath + "/" + fileName + ".jpg");
        outputStream.write(bytes);
        outputStream.close();
        System.out.println("save image:" + fileName);
    }
}

以上代码就是把接收到的二进制图片内容保存为图片。图片的名称使用一个随机的 UUID 值。

没错老铁们，以上就是我们的全部的代码。包括方法声明在内的有效代码不到30行！！！

文章来源