大家好，说起爬虫相信很多程序员都听到过，简单来讲就是自动批量抓网络上信息的程序。接下来我结合github上一个爬虫框架NetDiscovery进行演示。
NetDiscovery
1 ）为什么要用框架？
框架能够帮助我们处理一些基础的、与目标任务没直接联系的工作，让我们专注在目标任务上。尤其对于爬虫初学者来说，很快就能体会到操作爬虫带来的效果与成就感，而不必去操心额外的事情。等入了门，再尝试不依赖框架独立从零写一个爬虫程序，然后再去研究别人已经搭建好的爬虫框架，等到能阅读爬虫框架源代码以后，相信您已经对网络爬虫有一定的研究了。
2 ）演示环境
Java JDK8、IntelliJ IDEA、Google Chrome
爬虫框架NetDiscovery：https://github.com/fengzhizi715/NetDiscovery/
3 ）确定爬虫任务
从某人才招聘网上获取指定的岗位信息：公司名称、岗位名称
4 ）人肉分析网页
用chrome浏览器打开目标网页，输入查询条件，找到展示岗位信息的网页：
网页信息
红框位置里的文字是我们计划要写程序去自动获取的信息。
这个环节的分析工作很重要，我们要对抓取的目标网页、目标数据有明确的了解。人眼已经能看到这些信息了，接下来就是写程序教电脑去帮我们抓取。
5 ）创建Java工程
创建一个gradle的java工程：
创建Java工程
build.gradle
在项目中添加爬虫框架NetDiscovery的两个jar包，目前版本是0.0.9.3，版本不高，但版本的更新迭代很快，相信是一个有成长力的框架。
group 'com.sinkinka'
version '1.0-SNAPSHOT'
apply plugin: 'java'
sourceCompatibility = 1.8
repositories {
maven{url 'http://maven.aliyun.com/nexus/content/groups/public/'}
mavenCentral()
jcenter();
}
dependencies {
testCompile group: 'junit', name: 'junit', version: '4.12'
implementation 'com.cv4j.netdiscovery:netdiscovery-core:0.0.9.3'
implementation 'com.cv4j.netdiscovery:netdiscovery-extra:0.0.9.3'
}
如果下载不了，请配上阿里云镜像地址：
http://maven.aliyun.com/nexus/content/groups/public/
6 ）代码实现
参考框架中example模块下的示例代码，以及另一个实例项目：
https://github.com/fengzhizi715/user-agent-list
- 创建main方法的入口类，在main里启动爬虫
- 针对目标网页的解析，需要创建实现parser接口的类
- 从html字符串中抓取目标内容有多种方法，比如xpath、jsoup、正则表达式等
在java的main方法里编写如下代码：
package com.sinkinka;
import com.cv4j.netdiscovery.core.Spider;
import com.sinkinka.parser.TestParser;
public class TestSpider {
public static void main(String[] args) {
//目标任务的网页地址，可以拷贝到浏览器去查看
String url = "http://www.szrc.cn/HrMarket/WLZP/ZP/0/%E6%95%B0%E6%8D%AE";
//依靠NetDiscovery，我们只需要写一个parser类就可以实现基本的爬虫功能了
Spider.create()
.name("spider-1") //名字随便起
.url(url)
.parser(new TestParser()) //parser类
.run();
}
}
TestParser类的代码：
package com.sinkinka.parser;
import com.cv4j.netdiscovery.core.domain.Page;
import com.cv4j.netdiscovery.core.parser.Parser;
import com.cv4j.netdiscovery.core.parser.selector.Selectable;
import java.util.List;
/**
* 针对目标网页的解析类
*/
public class TestParser implements Parser {
@Override
public void process(Page page) {
String xpathStr = "//*[@id=\"grid\"]/div/div[1]/table/tbody/tr";
List<Selectable> trList = page.getHtml().xpath(xpathStr).nodes();
for(Selectable tr : trList) {
String companyName = tr.xpath("//td[@class='td_companyName']/text()").get();
String positionName = tr.xpath("//td[@class='td_positionName']/a/text()").get();
if(null != companyName && null != positionName) {
System.out.println(companyName+"------"+positionName);
}
}
}
}
运行结果：
运行结果
7 ）总结
本文依赖爬虫框架，用尽量简单的代码演示了抓取网页信息的一种方法。后续会发布更多实操性的内容供大家参考。
NetDiscovery爬虫框架的基本原理图
NetDiscovery
下一篇：Java网络爬虫实操（2）
网友评论