2018-02-24webmonitor项目开发总结

本文参考了“大数据云计算分布式数据批量管理系统开发”，如有错误欢迎批评指正。

1、新建一个Project项目

2、建立静态页面

3、编写后台业务逻辑

4、链接数据库（打通前后台）实现动态化

5、测试（内测《黑盒，白盒》），公测《目标用户参与测试，客户参与测试》找bug

6、上线试运行（模拟正式运行环境）改bug

7、正式上线运营（根据客户反馈和市场需求变化不断迭代更新产品）改版

8、维护

webmonitor项目开发总结

项目需求分析：

1、从Storm，Kafka页面爬取目标数据

2、对目标数据进行判断，计算处理

3、对判断和计算结果进行处理，选择是否报警

第一步：编写爬取目标数据的方法getHtmlResourceByUrl

方法传入的参数为，url和编码方式（爬取的源码中可能存在汉字），方法返回的为源码构成的字符串。所以方法定义为：

public static String getHtmlResourceByUrl(String url,String encoding){

return String;

}

在类中使用static修饰的静态方法会随着类的定义而被分配和装载入内存中；而非静态方法属于对象的具体实例，只有在类的对象创建时在对象的内存中才有这个方法的代码段。

编写代码时，注释非常重要。将对方法的分析与设计内容转换为注释

/**

 * 根据管理页面的url地址和页面编码集获取页面的源代码（页面没有汉字此处省略编码集信息）

 * @param url

* @param encoding

* @return String 源代码

*/

开始具体的方法编写：

首先建立网络链接，打开网络链接，文件写入流，文件缓冲写入，建立临时变量，然后一边读数据，一边写数据。

public static String getHtmlResourceByUrl(String url,String encoding){

StringBuffer buffer =  new StringBuffer();//建立存储源代码的容器

try{

URL urlObject = new URL(url);//建立网络链接

URLConnection uc = urlObject.openConnection();//打开网络链接

InputStreamReader isr = new InputStreamReader(uc.getInputStream());//文件写入流

BufferedReader reader = new BufferedReader(isr);//建立文件缓冲写入流

String temp = null;

while((temp = reader.readLine())!=null){

buffer.append(temp+"\n");//一边读，一边写

}

}catch(MalformedURLException e){

e.printStackTrace();

System.out.println("网络链接不可用！")；

}catch(IOException e){

e.printStackTrace();

System.out.println("您的网络链接打开失败，请稍后重试！")；

}

return buffer.toString();

}

第二步，解析源码

Document document = Jsoup.parse(getHtml(url));

colMd6 = document.body().getElementsByClass("col-md-6");

Node tb = colMd6.select("table").select("tbody").select("tr").get(0);

Node td = tb.childNode(3); String str = td.toString();

String stdo = str.substring(str.indexOf(">") + 1, str.indexOf("/") - 1);

String std = stdo.replace(",","");

第三步，判断是否发出报警

if (i > threshold) { //超出阈值，标志位置为异常

flag = false;

kafkalog.warn("Topic_id " + topic_id + " : Total Lag is " + std + " Please Check out of " + urlStr + " " + new Date());

warnlog.warn("Topic_id " + topic_id + " : Total Lag is " + std + " Please Check out of " + urlStr + " " + new Date());

SendAlertMessageByWX.sendAlertMessageByWx(userInformationSet, "Topic_id " + topic_id + "Total Lag is " + std + " Please Check out of " + urlStr + " " + new Date()); SendAlertMessageByEmail.sendAlertMessageByEmail(userInformationSet, "Total Lag", "Topic_id " + topic_id + "Total Lag is " + std + " Please Check out of " + urlStr + " " + new Date());

 }else{ flag = true; }