最近做了一个从网络上抓取数据的一个小程序。主要关于信贷方面，收集的一些黑名单网站，从该网站上抓取到自己系统中。
首先需要一个jsoup的jar包，我用的1.6.0，下载地址为：http://pan.baidu.com/s/1mgqOuHa
1，获取网页内容（核心代码，技术有限没封装）。
2，登录之后抓取网页数据（如何在请求中携带cookie）。
3，获取网站的ajax请求方法（返回json）。
以上这三点我就用一个类全部包含（比较糙望见谅，直接copy代码过去，应该就可以用）
如果有想学习java的同学，可来我们的java技术学习QQ群：165080868，免费送整套系统的java视频教程！我每晚上8点还会在群内直播讲解Java知识，欢迎大家前来学习哦，下面是部分资料截图：
一，这个类分别有这上面的1,2,3三中方法，直接main方法可以进行测试
二，这个是获取验证码的类，可以研究下。（但你要要分析出网站的验证码的请求地址）
欢迎关注胖胖爱Java的简书号，可视化学习java，每天更新文章，让Java学习更加简单。
声明：本文内容来源于网络，如有侵权请联系删除
网友评论