美文网首页
Nginx日志Hive分析

Nginx日志Hive分析

作者: 大空翼123 | 来源:发表于2022-10-03 19:12 被阅读0次

1.业务场景

      最新有一个新需求,需要对Nginx的log日志进行分析,日志每天以打包压缩上传HDFS上,采用可以用Hive直接解析,但是所有的日志信息都在一个字段下面,而且Nginx日志采用空格键作为分隔符,有一些字段内部缺也包含空格,没办法切分,因此想到办法采用正则匹配进行解析出Nginx日志的各个信息

2.问题解决

首先找后端要来Nginx日志配置信息,配置信息可以参考https://www.cnblogs.com/anenyang/p/15480673.html

这里截取日志中一条的部分 198.56.194.106 - 38590 [28/Jul/2020:00:05:03 +0800] "GET /article-1032.html HTTP/1.1"

解决办法1:采用PyHive读取数据,然后正则匹配转为pandas 的DataFrame,随后用Spark/CSV写入Hive.。

                        缺点:1.Python处理数据性能较差,日志已经积累的几年的,每天解压后约1-2G/几百万条,每天分开处理也需要挺久,

                                     2. PySpark在Dolphin上有会报错,无法用于后期调度

                                     3.Python 环境依赖只能在单节点执行

解决办法2:使用Java正则解析,再将间隔符号换为不常用字符用户切割,再按照此逻辑创建HiveUDF,使用Hive自定义函数来解析

                          缺点:好像,没什么缺点,需要会写Hive的UDF

测试代码:

public class testRegex {

public static void main(String[] args) {

//需要匹配的日志信息

        String log="198.56.194.106 - 38590 [28/Jul/2020:00:05:03 +0800] \"GET /article-1032.html HTTP/1.1\" ";

        //获取匹配

        String ip="(?<ip>(\\d+.\\d+.\\d+.\\d+)|(-))";//匹配198.56.194.106 或者-

        String empty="(?<empty>-)"; //匹配abc

        String remoteport="(?<remoteport>(\\d+)|(-))";//匹配38590 或者-

        String timelocal="(?<timelocal>(\\[.*\\])|(-))";//匹配[]包含的内容 或者-

        String request="(?<request>(\".*?\")|(-))"; ////匹配""包含的内容 或者-

      //匹配用空格 \s 连一起

        String matcher_remote_addr = ip+"\\s"+empty+"\\s"+remoteport+"\\s"+timelocal+"\\s"+request+"\\s";

        //编译

        Pattern pattern_nginx = Pattern.compile(matcher_remote_addr);

        //匹配

        Matcher Matcher_nginx = pattern_nginx.matcher(log);

        //创界结果为一个字符串或者为一个集合

        String result="";

        try {

                Matcher_nginx.find();

            System.out.println(Matcher_nginx.group(0).trim());

            String nginx_remote_addr=Matcher_nginx.group("ip").trim();//获取ip的匹配去掉前后空格

            String nginx_empty=Matcher_nginx.group("empty").trim();

            String nginx_remote_port=Matcher_nginx.group("remoteport").trim();

            String nginx_time_local=Matcher_nginx.group("timelocal").trim();

            String nginx_request=Matcher_nginx.group("request").trim().replace("\"","");//获得匹配去掉双引号

            result=nginx_remote_addr+"¥"+nginx_empty+"¥"+nginx_remote_port+"¥"+nginx_time_local+"¥"+nginx_request;

        }catch (Exception e) {

e.printStackTrace();

        }

System.out.println(result);

    }

}

打印输出:

198.56.194.106 - 38590 [28/Jul/2020:00:05:03 +0800] "GET /article-1032.html HTTP/1.1"

198.56.194.106¥-¥38590¥[28/Jul/2020:00:05:03 +0800]¥GET /article-1032.html HTTP/1.1

可以看到分隔符按照¥切分开了。

3.编写HiveUDF

参考官网文档

https://cwiki.apache.org/confluence/display/Hive/HivePlugins

导入Maven依赖,注意和Hive版本保持一致

<dependencies>

<dependency>

<groupId>org.apache.hive</groupId>

<artifactId>hive-exec</artifactId>

<version>3.1.2</version>

</dependency>

</dependencies>

public class MyNginx extends GenericUDF {

    /**

    * 判断传进来的参数的类型和长度

    * 约定返回的数据类型

    * @param arguments //就是传进来的参数,不带参数值,只判断类型和个数

    * @return

    * @throws UDFArgumentException

    */

    @Override

    public ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException {

//检查传参个数

        if (arguments.length !=1) {

            throw  new UDFArgumentLengthException("please give me  only one arg");

        }

        //检查参数类型和具体返回值类型

        if (!arguments[0].getCategory().equals(ObjectInspector.Category.PRIMITIVE)){

            throw  new UDFArgumentTypeException(1, "i need primitive type arg");

        }

        return PrimitiveObjectInspectorFactory.javaStringObjectInspector;

    }

    /**

    * 解决具体逻辑的

    * @param arguments

    * @return

    * @throws HiveException

    */

    @Override

    public Object evaluate(DeferredObject[] arguments) throws HiveException {

        Object o = arguments[0].get();

        if(o==null){

            return 0;

        }

        String s = o.toString();

        String result = ParseNginx(s);

        return result;

    }

    @Override

    // 用于获取解释的字符串。这个没有用,如果当前函数跑MR回打印如下信息

    public String getDisplayString(String[] children) {

        return "";

    }

    public static String ParseNginx(String nginxLog){

          //获取匹配

        String ip="(?<ip>(\\d+.\\d+.\\d+.\\d+)|(-))";//匹配198.56.194.106 或者-

        String empty="(?<empty>-)"; //匹配abc

        String remoteport="(?<remoteport>(\\d+)|(-))";//匹配38590 或者-

        String timelocal="(?<timelocal>(\\[.*\\])|(-))";//匹配[]包含的内容 或者-

        String request="(?<request>(\".*?\")|(-))"; ////匹配""包含的内容 或者-

        //匹配用空格连一起

        String matcher_remote_addr = ip+"\\s"+empty+"\\s"+remoteport+"\\s"+timelocal+"\\s"+request+"\\s";

        //编译

        Pattern pattern_nginx = Pattern.compile(matcher_remote_addr);

        //匹配

        Matcher Matcher_nginx = pattern_nginx.matcher(log);

        //创界结果为一个字符串或者为一个集合

        String result="";

        try {

            Matcher_nginx.find();

//            empty.find();

//            remote_port.find();

            System.out.println(Matcher_nginx.group(0).trim());

            String nginx_remote_addr=Matcher_nginx.group("ip").trim();//获取ip的匹配去掉前后空格

            String nginx_empty=Matcher_nginx.group("empty").trim();

            String nginx_remote_port=Matcher_nginx.group("remoteport").trim();

            String nginx_time_local=Matcher_nginx.group("timelocal").trim();

            String nginx_request=Matcher_nginx.group("request").trim().replace("\"","");//获得匹配去掉双引号

            result=nginx_remote_addr+"¥"+nginx_empty+"¥"+nginx_remote_port+"¥"+nginx_time_local+"¥"+nginx_request;

        } catch (Exception e) {

            return null;

        }

        return result;

    }

}

之后打包上传HDFS,在Hive创建临时/永久函数不在累述。

参考链接:

https://blog.csdn.net/hjzyhm/article/details/125950178

https://www.baidu.com/link?url=IaElTc84QYCjSRoeXACTQW_dKXk-3xmMqFoSpOWeohDi8ta78tlvJwnm-DQ34iNEgOhF8-c72CBgOxM-ZUspMoHL97XArNHRlYvKphp2VH7&wd=&eqid=c0cc504100026aeb00000003633bfbe8

相关文章

  • Nginx日志Hive分析

    1.业务场景 最新有一个新需求,需要对Nginx的log日志进行分析,日志每天以打包压缩上传HDFS上,采用...

  • nginx笔记

    出现错误分析步骤 查看日志 nginx命令 热加载nginx nginx -s reload 关闭nginx服务 ...

  • Hive介绍与核心知识点

    Hive Hive简介 Facebook为了解决海量日志数据的分析而开发了Hive,后来开源给了Apache软件基...

  • 91104-nginx failed(13:Permission

    问题背景 nginx 配置好以后 发现请求不能转发 问题分析 查看Nginx 日志,Linux 日志默认路径 ht...

  • Linux Awk使用案例总结-nginx日志统计

    Nginx日志分析(截图和文字日志格式不同) 日志格式:'$remote_addr - $remote_user ...

  • access 日志分析

    log日志分析,Nginx 0.8.5版本access.log日志分析shell命令 大 | 中 | 小 [ 2...

  • Awk 必知必会

    1、Nginx日志分析日志格式:'$remote_addr - $remote_user [$time_local...

  • Nginx日志分析- AWK命令快速分析日志--封禁访问请求最多

    Nginx日志常用分析命令示范(注:日志的格式不同,awk取的项不同。下面命令针对上面日志格式执行) 1.分析日志...

  • 2020-03-24 Nginx访问日志

    1. Nginx访问日志介绍 Nginx软件会把每隔用户访问网站的日志信息记录到指定的日志文件里,供网站提供者分析...

  • hive日志分析

    一、数据来源: 对技术论坛网站的tomcat access log日志进行分析,计算该论坛的一些关键指标,供运营者...

网友评论

      本文标题:Nginx日志Hive分析

      本文链接:https://www.haomeiwen.com/subject/jbtuartx.html