背景
如果产品经理或者需求方突然想让你统计xxxx时候xxx条件下的一批线上数据，怎么办？？而且仅仅是想看看这批数据长什么，没有现成的接口，数据库全部是密文存储，还可能依赖其他业务接口，一小时后就要看，怎么办？？
例如：解密一批手机号，并将明文的手机号做md5，原始数据为一个Excel
方案1：开发，测试，发布上线，等这些都OK了，两天都结束了，而且可能就想查看一次，这个代价太大
方案2：往下看
解决方案（Java版）
- 先将原始数据Excel转成csv文件，每列按照英文逗号
,分隔，非常关键的第一步，转后的数据入下： 其中第三列是手机号
列1,列2,列3
30csaf5ee47,oe23dsffsdn5AEhOxnF23fsWY,1823fsf599
12fdsa95e2,oe9hd43fassfagBo0tgZ32E,137234f459
3af062faf48,oe9Tfsafw2fsaqa2fab3fasfw,NULL
2006fa37fa4,oe9TfafYl232328ONE,NUL
- 在对应web工程下的webapp目录下创建一个jsp文件，在这个jsp里边编写查询数据的业务逻辑，例如：解密手机号做MD5
<!-- 设置编码格式 -->
<%@ page contentType="text/html;charset=UTF-8" language="java" %>
<!-- 非常重要配置，去掉response writer 打印的多余空白-->
<%@ page trimDirectiveWhitespaces="true" %>
<%
//获取请求参数
String data = request.getParameter("data");
//不合法参数过滤
if (StringUtils.isEmpty(data)) {
return;
}
String[] datas = data.split(",");
if (datas.length != 3) {
response.getWriter().println(data);
return;
}
if (StringUtils.isEmpty(datas[2]) || StringUtils.equals("NULL", datas[2])) {
response.getWriter().println(data);
return;
}
//创建打印值，数据按照逗号分隔
StringBuilder stringBuilder = new StringBuilder(datas[0] + "," + datas[1] + "," + datas[2] + ",");
//获取web应用spring 容器中的服务，这里获取的是DecyptClass这个服务对象，做解密手机号的操作
ApplicationContext ctx = WebApplicationContextUtils.getRequiredWebApplicationContext(request.getSession().getServletContext());
DecyptClass decryptClass = cxt.getBean(DecryptClass.class);
//解密和md5操作
String decrpytPhone = decryptClass.decrpytp(phone);
String phoneMd5 = MD5Util.encrypt(decryptPhone);
//打印操作结果
stringBuilder.append(phoneMd5);
response.getWriter().println(stringBuilder.toString());
%>
上述代码很简单，就是根据英文逗号,分隔传递的参数，取第三个参数手机号进行解密操作，然后做md5运算，运算完成后，将md5拼接到传参的后面，以逗号分隔,
需要有几点说明
-
<%@ page trimDirectiveWhitespaces="true" %>这句话非常重要，这样保证单行输出，不理解的话，可以将这行去掉请求对比一下就知道了 -
WebApplicationContextUtils.getRequiredWebApplicationContext(request.getSession().getServletContext());这句依赖spring容器，所以该web工程需要使用spring容器，并且需要在web.xml文件中配置
org.springframework.web.context.ContextLoaderListenerlistener，这样就可以在jsp中获取spring容器中任何的bean 了
- 将创建好的jsp文件贴到线上服务器该应用的webapp目录下，例如md5.jsp，这个时候就可以直接访问这个jsp文件了，此时我curl一下。
[wang.fancying@jianshu.com]$ curl http://localhost:8080/md5.jsp?data=3wfsfasf9,cTPwfscfsw,13923SSs48
3wfsfasf9,cTPwfscfsw,13923SSs48,ce407810c0fc05ce923e3e5ea7a1ec6d
这个时候接口已经OK了，业务代码已经完成，没有经过测试，上线这繁重的步骤，此时我们只需处理批量数据就行了
- 创建脚本
先在本地使用vim创建文件，将csv文件copy到vim文件中，内容入下（模拟数据，可能会存在几万条）
23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
此时按下esc，然后再vim命令行输入%s/$/curl\ http:\/\/localhost\:8080\/md5.jsp\?data\=，按下回车，变为
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
curl http://localhost:8080/md5.jsp?data=23fsfsa720797,ofa2fsL6J23rafsQ,152rsfa710
此时脚本已经创建完成。刚才那个vim命令是：每行的行首都添加一段字符串，命令为：%s/^/要插入的字符串
- 将本地脚本上传到对应的服务器上，一般使用
ftp工具，上传时，要使用binary模式，否则会出现不可见非法字符
ftp> binary
200 Switching to Binary mode.
ftp>
- 在服务器上执行
[wang.fancying@jianshu.com]$ sh data.txt >> dataResult
执行完成后，输出的数据就重定向到dataResult文件中了，只需将文件下载下来，然后改成.csv文件就OK了
网友评论