Java爬虫入门篇（三）使用 cdp4j 抓取需要渲染的网页

• 场景描述：一些网站的 response 中拿不到我们想要的数据，这些数据是在浏览器渲染后才显示在页面上的
• 解决方案：上一篇中我介绍了使用 Java 8 Nashorn 动态执行js脚本，这篇中使用 cdp4j 直接在Java端调用 chrome 浏览器，返回浏览器渲染后的html，简单粗暴，完美解决。

cdp4j - Chrome DevTools Protocol for Java (官方文档)

<dependency>
    <groupId>io.webfolder</groupId>
    <artifactId>cdp4j</artifactId>
    <version>2.2.1</version>
</dependency>

import java.util.ArrayList;

import io.webfolder.cdp.Launcher;
import io.webfolder.cdp.session.Session;
import io.webfolder.cdp.session.SessionFactory;

public class Test {
    
    public static void main(String args[]) {
        ArrayList<String> command = new ArrayList<String>();
        //不显示google 浏览器
        command.add("--headless");
        Launcher launcher = new Launcher();
        try (SessionFactory factory = launcher.launch(command);
                Session session = factory.create()) {
            session.navigate("https://webfolder.io");
            session.waitDocumentReady();
            String content = (String) session.getContent();
            System.out.println(content);
            //已经拿到渲染后的html，下面就可以用jsoup去抓取想要的数据了
        }
    }
    
}

注意：由于cdp4j需要chrome的支持，所以更适合在windows环境下运行

总结：执行效率上没有测过，不敢说那种方法效率更高，但是使用cdp4j确实简单粗暴，更方便

转载请注明出处，原文作者：殷天文

系列教程
Java爬虫入门篇（一）HttpClient+jsoup，以及防盗链简述
Java爬虫入门篇（二）Java 8 Nashorn 动态执行js脚本