在日常开发的时候，我们爬取数据，有些数据需要我们登陆之后才能够爬取。举一个例子，我们想要爬取学校图书馆里面的历史图书，我们就必须登陆以后再获取，这个时候我们可以选择模拟登陆——即我们可以用程序来模拟整个登陆的过程。
Jsoup模拟登陆的大概步骤(以待验证码的登陆为例)
- 首先对整个登陆过程进行网络分析，搞清楚需要用到哪些参数，以及请求的网址。
- 输入参数或者在网页中爬取相应的参数。
- 对请求网址发起网络请求，获取返回的数据，一般情况下是一个网页。
- 登录成功以后就可以通过获取之前网络请求的cookie来访问一些需要登录后才能浏览的网页
Jsoup模拟登陆的详细步骤
- 我们想要模拟登陆就必须了解整个登陆的完整过程，这里我推荐使用Google的Chrome浏览器来分析整个网络请求的过程。先用Chrome浏览器加载出登陆的页面，然后点反键选择检查，接着选择network。
Chrome网络分析界面
按照提示刷新页面，mac使用command加R刷新后才能看到网络请求。我们先试着登录一遍，填好了所有的数据以后登录，我们可以看到我这个请求的所有请求参数可以在Headers里面的Form Data里面看到，下面的例子中我们一共看到了五个参数：1. number 2.passwd 3.captcha 4.select 5.returnUrl
请求参数
同时在Headers里面的General可以看到登陆的请求网址。
请求网址
这样我们需要的请求网址和所需的所有参数都知道了。
-
通过上面的一个步骤我们知道我们的所有参数里面有一个验证码需要我们获取，我的思路是先把他下载到本地再输入，那这个验证码如何获取呢？我们可以在所有的网络请求的列表里面看到验证码的请求，并且得到验证码的请求地址。
验证码的请求命令
验证码的请求网址
我们先向验证码的地址发送请求，获取到回应是二进制数组，再下载到本地。
这里还要补充一句，我所有的网络请求和爬取数据用的都是Jsoup，需要在网络上面下载Jsoup的Jar包再添加到项目的lib里面，这里具体的做法我就不做阐述，具体的可以自己在网上搜索，这里可以参考Eclipse的三个方法，我是用的是外部添加Jar的方法。具体的代码如下：
Response response = Jsoup.connect("http://opac.lib.wust.edu.cn:8080/reader/captcha.php")
.ignoreContentType(true)
.execute();
byte[] data = response.bodyAsBytes();
cookie = response.cookies();
if (data != null) {
String filepath = "/Users/yuanyuanlai/Pictures"+"\\"+"yzm.gif";
File file = new File(filepath);
if (file.exists()) {
file.delete();
}
try {
FileOutputStream fos = new FileOutputStream(file);
fos.write(data, 0, data.length);
fos.flush();
fos.close();
} catch (IOException e) {
e.printStackTrace();
}
}
这里我们一定要注意上面的一个获取cookie的这个步骤，因为这个cookie联系整个步骤，要不然验证码怎么和后面的登录请求联系到一起
- 这一步里我们可以正式发送请求，具体的代码如下：
System.out.println("请输入验证码:");
Scanner input = new Scanner(System.in);
String yzm = input.next();
input.close();
Map<String, String> datas = new HashMap<String,String>();
datas.put("number", "***********");
datas.put("passwd", "**********");
datas.put("captcha", yzm);
datas.put("select", "bar_no");
datas.put("returnUrl", "");
Connection connection2 = Jsoup.connect("http://opac.lib.wust.edu.cn:8080/reader/redr_verify.php");
connection2.header("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.13; rv:57.0) Gecko/20100101 Firefox/57.0");
res = connection2
.data(datas)
.cookies(cookie)
.method(Method.POST)
.execute();
将之前获取的验证码输入进去，以Map的形式储存请求的参数，简单的设置浏览器代理以后发送请求，这里最为重要的是在发送请求的时候也要带上cookie。
-
完成登录之后我们可以尝试着使用登录成功后的cookie爬取需要登录后的网页，比如我登录成功后想要爬取历史图书，比如下图：
我的图书馆借阅历史
我们在代码里面尝试着登录，爬取到历史图书，具体代码如下：
document = Jsoup.connect("http://opac.lib.wust.edu.cn:8080/reader/book_hist.php")
.cookies(cookie)
.get();
Elements elements = document.select("table.table_line").select("tbody")
.select("tr");
for(int i=1 ; i<elements.size() ;i++) {
System.out.println(elements.get(i).select("td").get(2).text());
}
爬取到的结果是：
爬取结果
说明登录成功，这里还得补充一句，Jsoup的具体教程得参考它的官方 教程
Jsoup教程
所有的代码
import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;
import java.util.Scanner;
import org.jsoup.Connection;
import org.jsoup.Connection.Method;
import org.jsoup.Connection.Response;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;
public class loginTest1 {
public static void main(String[] args) {
// TODO Auto-generated method stub
Document document = null;
Response res = null;
Document doc = null;
Map<String, String> cookie = new HashMap<String,String>();
try {
Response response = Jsoup.connect("http://opac.lib.wust.edu.cn:8080/reader/captcha.php")
.ignoreContentType(true)
.execute();
byte[] data = response.bodyAsBytes();
cookie = response.cookies();
if (data != null) {
String filepath = "/Users/yuanyuanlai/Pictures"+"\\"+"yzm.gif";
File file = new File(filepath);
if (file.exists()) {
file.delete();
}
try {
FileOutputStream fos = new FileOutputStream(file);
fos.write(data, 0, data.length);
fos.flush();
fos.close();
} catch (IOException e) {
e.printStackTrace();
}
}
System.out.println("请输入验证码:");
Scanner input = new Scanner(System.in);
String yzm = input.next();
input.close();
Map<String, String> datas = new HashMap<String,String>();
datas.put("number", "***********");
datas.put("passwd", "************");
datas.put("captcha", yzm);
datas.put("select", "bar_no");
datas.put("returnUrl", "");
Connection connection2 = Jsoup.connect("http://opac.lib.wust.edu.cn:8080/reader/redr_verify.php");
connection2.header("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.13; rv:57.0) Gecko/20100101 Firefox/57.0");
res = connection2
.data(datas)
.cookies(cookie)
.method(Method.POST)
.execute();
document = Jsoup.connect("http://opac.lib.wust.edu.cn:8080/reader/book_hist.php")
.cookies(cookie)
.get();
Elements elements = document.select("table.table_line").select("tbody")
.select("tr");
for(int i=1 ; i<elements.size() ;i++) {
System.out.println(elements.get(i).select("td").get(2).text());
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
网友评论