美文网首页
kkndme神贴爬虫(java)···

kkndme神贴爬虫(java)···

作者: sxqiong | 来源:发表于2019-03-21 14:09 被阅读0次

前言

前不久拜读了kk大神的帖子《2010年的房地产调控,我们收获了什么?写在房价暴涨前》。。。全程目瞪狗呆······ 观后感就不说了,主要还是说说java。这个帖子几百页上万的回复,其中不乏一些毫无营养的路人回复内容,让我感到不舒服。身为程序猿的我是不是可以让自己“舒服点”呢?于是决定搞一搞爬虫(虽然我也不确定自己写的算不算爬虫,但至少满足了我的需求)。嘻嘻,leedcode好像好久没刷了。。。

准备工作

先找规律:

  • 路径的规律:
    http://bbs.tianya.cn/post-house-252774-1.shtml
    http://bbs.tianya.cn/post-house-252774-2.shtml
    很容易看出帖子的url分三个部分:
    前缀(http://bbs.tianya.cn/post-house-252774-) + 页码 + 后缀(.shtml)

  • kk的回复dom 元素规律:
    稍微会一点前端就可以看的出,天涯是通过自定义属性_host来标记回复人的。如图:

    image.png
    那我们可以通过获取_host=kkndmediv来获取kk的回复。当然,还要过滤调回复的回复,这个很简单,我们只要取当前回复的第一个回复体就好,具体回复体有哪些特点相信我不说大家也能发现。
  • 要爬取的来源和元素我们都清楚了,接下来就是找一个合适的工具,java里原生jar并没有什么对解析html支持特别好的工具,我这里使用的是jsoup,在java里操作dom就像用js一样自如。

万事具备,只差编码。我们的思路是循环请求帖子的每一页,然后按上述过滤方式将每一页的结果输出到文件。

编码环节:

按照上述思路结合jsoup文档,很快就写出了代码,毕竟比较基础就不粘贴了,大家请想象,for each 请求写文件。一百多页的帖子大概爬了85秒。很慢(虽然浏览器直接访问,加载也很慢),但还是很多地方可以优化,比如请求页面的时候,可以多个线程同时请求不同的页面。放到线程池后爬取时间大概是55秒。爬下来的帖子读起来比较困难,这个时候就需要css的润色。

结论:

这次并没有详细的写过程代码,主要讲解思路哈哈哈,毕竟我自己的代码我自己都嫌弃。

还是贴一下主要代码:

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import thread.ThreadFactoryBuilder;

import java.io.BufferedWriter;
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.concurrent.*;
import java.util.concurrent.atomic.AtomicInteger;

/**
 * @author 尚晓琼
 * @version V1.0
 * @since 2018/12/19
 */
public class RobotDom {
    private static int pageStart = 1;
    private static int pageEnd = 131;
    private static String baseUrl = "http://bbs.tianya.cn/post-house-252774-";
    private static String suffix = ".shtml";
    private static String first = "<!DOCTYPE html>\n" +
            "<html lang=\"en\">\n" +
            "<head>\n" +
            "    <meta charset=\"UTF-8\">\n" +
            "    <title>Title</title>\n" +
            "</head>\n" +
            "<body>\n" + "<style>\n" +
            ".content{\n" +
            "\tborder: 2px solid gray;\n" +
            "    border-radius: 20px;\n" +
            "    padding: 20px;\n" +
            "    margin: 20px 0;\n" +
            "    background-color: #cde9a2;\n" +
            "}\n" +
            ".date-time{\n" +
            "    padding-left: 40%;\n" +
            "    color: royalblue;\n" +
            "    font-size: large;\n" +
            "    margin: 0 0 15px 0;" +
            "}" +
            ".link-ty{" +
            "margin-left: 20px;" +
            "}" +
            "</style>";
    private static String last = "</body>\n" +
            "</html>";
    private static String divS = "<div class='content'>\n";
    private static String divE = "\n</div>\n";
    private static AtomicInteger total = new AtomicInteger(0);
    private static String[] contents = new String[pageEnd];
    private static CountDownLatch latch = new CountDownLatch(pageEnd);

    public static void main(String[] args) {
        String attr = "_host";
        String value = "kkndme";
        String[]temp=baseUrl.split("/");
        String fileName=temp[temp.length-1]+value+".html";
        Path path = Paths.get("F:/robot/"+fileName);
        BufferedWriter writer = null;
        ThreadFactory threadFactory = new ThreadFactoryBuilder().build();
        int corePoolSize=16;
        int maximumPoolSize=200;
        long keepAliveTime=0L;
        int capacity=1024;
        BlockingQueue<Runnable> blockingQueue=new LinkedBlockingQueue<>(capacity);
        ExecutorService workers = new ThreadPoolExecutor(corePoolSize, maximumPoolSize, keepAliveTime, TimeUnit.MICROSECONDS, blockingQueue, threadFactory);
        try {
            long startTime=System.currentTimeMillis();
            writer = Files.newBufferedWriter(path);
            writer.write(first);
            for (int i = pageStart; i <= pageEnd; i++) {
                final int pageIndex = i;
                workers.submit(() -> doRobot(pageIndex, attr, value));
            }
            latch.await();
            System.out.println("爬取完成,输出文件ing。。。");
            for (String content : contents) {
                if (content != null) {
                    writer.write(content);
                }
            }
            workers.shutdown();
            writer.write(last);
            long endTime=System.currentTimeMillis();
            System.out.println("输出文件成功,耗时:"+(endTime-startTime));
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (writer != null) {
                try {
                    writer.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }

    private static void doRobot(int i, String arr, String value) {
        String url = baseUrl + i + suffix;
        Document document = null;
        try {
            document = Jsoup.connect(url).timeout(0).get();
            Elements elements = document.getElementsByAttributeValue(arr, value);
            int size = elements.size();
            final int index = i;
            StringBuilder contentsInPage = new StringBuilder();
            elements.forEach(element -> {
                contentsInPage.append(divS);
                Element dateTime = element.select(".atl-info").select("span").last();
                contentsInPage.append("\n<div class='date-time'>");
                if (dateTime != null) {
                    contentsInPage.append(dateTime.html());
                }
                contentsInPage.append("     <a class='link-ty' href='").append(url).append("'>page:").append(index).append("</a>").append("\n</div>\n");
                Elements content = element.select(".bbs-content");
                contentsInPage.append(content.html());
                contentsInPage.append(divE);
            });
            contents[i] = contentsInPage.toString();
            total.addAndGet(size);
            System.out.println("第" + i + "页爬取完成,爬取:" + size + ",累计:" + total);
        } catch (IOException e) {
            System.out.println("第" + i + "页爬取失败,累计:" + total);
            e.printStackTrace();
        } finally {
            latch.countDown();
            System.out.println("未爬取页数:" + latch.getCount());
            System.out.println("当前线程:" + Thread.currentThread().getName());
        }
    }
}

爬取效果还不错:


image.png

各位再见,我继续拜读了!!!

爬取结果
提取码:anar

相关文章

网友评论

      本文标题:kkndme神贴爬虫(java)···

      本文链接:https://www.haomeiwen.com/subject/yxyqvqtx.html