工作中有个需求,测100多条网址中的title keyword description修改的对不对
1、思路是ui自动化,webdriver打开这些链接,通过pagesource拿到页面得文本,然后解析对应字段,实现起来复杂,ui打开慢,页面隐藏的热词描述通过正则匹配不好拿,换方法
2、jsoup,java html解析器
类似接口get请求,通过jsoup的connect方法获取页面数据,转成document,再去取对应标签的值,运行速度快,整个跑完29秒
Document doc = Jsoup.connect(url).get();
3、访问域名的时候有时候会失败,是因为切换域名host没切换过来,这时需要加下面一段话,查看访问对应域名的ip是否正确
InetAddress ip;
try {
ip = InetAddress.getByName("*。*.com");
System.out.println(ip.toString());
System.out.println("Address:" + ip.getHostAddress()+" "+"Name" + ip.getHostName());
} catch (UnknownHostException e1) {
// TODO Auto-generated catch block
e1.printStackTrace();
}
网友评论