前言
最近沉寂了几周，那是因为小编在埋头farming，学习新技术，思考人生……我一直认为分享的目的在于自我成长并造福他人，我们曾经和现在在网路上搜索的资料和方案又何尝不是别人分享和总结的呢？感谢有那么多人在默默分享和付出……
今天给大家分享一个小爬虫方案，小编很久很久之前就想深入爬虫的世界，可是放眼大都是Python系列，虽然用Python很爽很优雅，但一直在Java栈里，暂时不想额外去学Python，就想玩Java版的爬虫可实现吗？答案是肯定的，利用jsoup就轻松实现静态页面信息抓取……
Jsoup简介
百度百科：jsoup 是一款Java 版的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
上面的介绍，最关键就是jsoup是一款Java的HTML解析器，那么我们可以理解，通过它提供的API，我们可以像使用jQuery或者WebDriver一样去查找、定位甚至操作各种元素标签了。
Jsoup API
官网地址： https://jsoup.org****
java项目对应的jsoup包：https://jsoup.org/download，使用jar或maven、gradle可按照需要自选。
API 文档：https://jsoup.org/apidocs/overview-summary.html
下面是包结构，看包名是不是很好理解，用过WebDriver的童鞋应该不会陌生：
org.jsoup.nodes 类似于 WebElemet 的元素对象类
org.jsoup.select 类似于元素查找和定位的By类
看英文描述应该也不难理解，详细的API在使用的时候直接查API即可，这里不详细介绍了。
实战练习
腻不腻害，拉出来用用就知道了，那么我们找个例子来小小练习下吧，就实现下面这个例子吧：想获取简书首页下的所有文章URL
下面撸起袖子开干：
1、分析网页：
通过查看网页源码，不难发现文章的标题都是采用<a>标签组织的链接，那先不管其他的，先把<a href=>这样的节点爬出来再说，不符合规则的后面再根据属性过滤就行。其实这个例子，已经简化了过滤操作，仔细观察发现文章列表都是在列表<li>中，且还有id属性，这就大大简化了过滤工作（无论是UI自动化还是爬虫应该都喜欢这样的页面）。
2、编码：
新建java- maven项目，在pom.xml加上jsoup的依赖：
新建测试类：
代码就这么简单，关键在于节点过滤，匹配方式jsoup提供了详细的方法，可以参考API Selector类的说明：https://jsoup.org/apidocs/org/jsoup/select/Selector.html
运行一下看下效果：
完美输出了简书首页的20篇文章地址和标题。
总结
学会爬虫的好处大家都懂，爬资料，爬优惠信息，爬美女图片，爬电影种子，爬Japan AV（河蟹）……只有你想不到的，没有爬不到的。当然这只是一个小小的示例，但也改变了我之前的认知，以为写爬虫就只能用Python了，其实Jsoup也可以轻松实现的，但是jsoup只能爬取静态页面，对于那些有Ajax交互的URL就难以抓取了，这需要如何做呢？等我尝试完各种方法后，找到最优的方案再分享给大家……
原文来自下方公众号，转载请联系作者，并务必保留出处。
想第一时间看到更多原创技术好文和资料，请关注公众号：测试开发栈
网友评论