前言
前不久拜读了kk大神的帖子《2010年的房地产调控，我们收获了什么？写在房价暴涨前》。。。全程目瞪狗呆······ 观后感就不说了，主要还是说说java。这个帖子几百页上万的回复，其中不乏一些毫无营养的路人回复内容，让我感到不舒服。身为程序猿的我是不是可以让自己“舒服点”呢？于是决定搞一搞爬虫（虽然我也不确定自己写的算不算爬虫，但至少满足了我的需求）。嘻嘻，leedcode好像好久没刷了。。。
准备工作
先找规律：
-
路径的规律：
http://bbs.tianya.cn/post-house-252774-1.shtml
http://bbs.tianya.cn/post-house-252774-2.shtml
很容易看出帖子的url分三个部分:
前缀(http://bbs.tianya.cn/post-house-252774-) + 页码 + 后缀（.shtml） -
kk的回复dom 元素规律：
稍微会一点前端就可以看的出，天涯是通过自定义属性_host来标记回复人的。如图：
image.png
那我们可以通过获取_host=kkndme的div来获取kk的回复。当然，还要过滤调回复的回复，这个很简单，我们只要取当前回复的第一个回复体就好，具体回复体有哪些特点相信我不说大家也能发现。 -
要爬取的来源和元素我们都清楚了，接下来就是找一个合适的工具，java里原生jar并没有什么对解析html支持特别好的工具，我这里使用的是jsoup，在java里操作dom就像用js一样自如。
万事具备，只差编码。我们的思路是循环请求帖子的每一页，然后按上述过滤方式将每一页的结果输出到文件。
编码环节：
按照上述思路结合jsoup文档，很快就写出了代码，毕竟比较基础就不粘贴了，大家请想象，for each 请求写文件。一百多页的帖子大概爬了85秒。很慢（虽然浏览器直接访问，加载也很慢），但还是很多地方可以优化，比如请求页面的时候，可以多个线程同时请求不同的页面。放到线程池后爬取时间大概是55秒。爬下来的帖子读起来比较困难，这个时候就需要css的润色。
结论：
这次并没有详细的写过程代码，主要讲解思路哈哈哈，毕竟我自己的代码我自己都嫌弃。
还是贴一下主要代码：
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import thread.ThreadFactoryBuilder;
import java.io.BufferedWriter;
import java.io.IOException;
import java.nio.file.Files;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.concurrent.*;
import java.util.concurrent.atomic.AtomicInteger;
/**
* @author 尚晓琼
* @version V1.0
* @since 2018/12/19
*/
public class RobotDom {
private static int pageStart = 1;
private static int pageEnd = 131;
private static String baseUrl = "http://bbs.tianya.cn/post-house-252774-";
private static String suffix = ".shtml";
private static String first = "<!DOCTYPE html>\n" +
"<html lang=\"en\">\n" +
"<head>\n" +
" <meta charset=\"UTF-8\">\n" +
" <title>Title</title>\n" +
"</head>\n" +
"<body>\n" + "<style>\n" +
".content{\n" +
"\tborder: 2px solid gray;\n" +
" border-radius: 20px;\n" +
" padding: 20px;\n" +
" margin: 20px 0;\n" +
" background-color: #cde9a2;\n" +
"}\n" +
".date-time{\n" +
" padding-left: 40%;\n" +
" color: royalblue;\n" +
" font-size: large;\n" +
" margin: 0 0 15px 0;" +
"}" +
".link-ty{" +
"margin-left: 20px;" +
"}" +
"</style>";
private static String last = "</body>\n" +
"</html>";
private static String divS = "<div class='content'>\n";
private static String divE = "\n</div>\n";
private static AtomicInteger total = new AtomicInteger(0);
private static String[] contents = new String[pageEnd];
private static CountDownLatch latch = new CountDownLatch(pageEnd);
public static void main(String[] args) {
String attr = "_host";
String value = "kkndme";
String[]temp=baseUrl.split("/");
String fileName=temp[temp.length-1]+value+".html";
Path path = Paths.get("F:/robot/"+fileName);
BufferedWriter writer = null;
ThreadFactory threadFactory = new ThreadFactoryBuilder().build();
int corePoolSize=16;
int maximumPoolSize=200;
long keepAliveTime=0L;
int capacity=1024;
BlockingQueue<Runnable> blockingQueue=new LinkedBlockingQueue<>(capacity);
ExecutorService workers = new ThreadPoolExecutor(corePoolSize, maximumPoolSize, keepAliveTime, TimeUnit.MICROSECONDS, blockingQueue, threadFactory);
try {
long startTime=System.currentTimeMillis();
writer = Files.newBufferedWriter(path);
writer.write(first);
for (int i = pageStart; i <= pageEnd; i++) {
final int pageIndex = i;
workers.submit(() -> doRobot(pageIndex, attr, value));
}
latch.await();
System.out.println("爬取完成，输出文件ing。。。");
for (String content : contents) {
if (content != null) {
writer.write(content);
}
}
workers.shutdown();
writer.write(last);
long endTime=System.currentTimeMillis();
System.out.println("输出文件成功,耗时："+(endTime-startTime));
} catch (Exception e) {
e.printStackTrace();
} finally {
if (writer != null) {
try {
writer.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
private static void doRobot(int i, String arr, String value) {
String url = baseUrl + i + suffix;
Document document = null;
try {
document = Jsoup.connect(url).timeout(0).get();
Elements elements = document.getElementsByAttributeValue(arr, value);
int size = elements.size();
final int index = i;
StringBuilder contentsInPage = new StringBuilder();
elements.forEach(element -> {
contentsInPage.append(divS);
Element dateTime = element.select(".atl-info").select("span").last();
contentsInPage.append("\n<div class='date-time'>");
if (dateTime != null) {
contentsInPage.append(dateTime.html());
}
contentsInPage.append(" <a class='link-ty' href='").append(url).append("'>page:").append(index).append("</a>").append("\n</div>\n");
Elements content = element.select(".bbs-content");
contentsInPage.append(content.html());
contentsInPage.append(divE);
});
contents[i] = contentsInPage.toString();
total.addAndGet(size);
System.out.println("第" + i + "页爬取完成，爬取:" + size + "，累计：" + total);
} catch (IOException e) {
System.out.println("第" + i + "页爬取失败，累计：" + total);
e.printStackTrace();
} finally {
latch.countDown();
System.out.println("未爬取页数:" + latch.getCount());
System.out.println("当前线程:" + Thread.currentThread().getName());
}
}
}
爬取效果还不错：
image.png
各位再见，我继续拜读了！！！
爬取结果
提取码：anar
网友评论