美文网首页
[译]使用nginxScript格式化输出Nginx访问日志

[译]使用nginxScript格式化输出Nginx访问日志

作者: seawish | 来源:发表于2018-12-04 21:07 被阅读3次

    Getting Started with the NGINX JavaScript Module – A Real‑World Example

    正文

    我们可以使用nginxScript实现一个模块,并将其编译到开源Nginx中,或动态加载到Nginx或者Nginx Plus中。有关使用NGINX和NGINX Plus开启nginScript的说明,请参见本文末尾。

    在此示例中,我们使用NGINX或NGINX Plus作为简单的反向代理,并使用nginScript以专门的格式构造访问日志条目,即:

    • 包括客户端发送的request header
    • 包括后端返回的response header
    • 使用键值对存储访问日志,以高效注入日志处理工具,例如ELK Stack(现在称为Elastic Stack),Graylog和Splunk。

    Nginx配置如下:

    ########### header_logging.conf
    js_include conf.d/header_logging.js;             # Load JavaScript code from here
    js_set     $access_log_with_headers kvAccessLog; # Fill variable from JS function
    log_format kvpairs $access_log_with_headers;     # Define special log format
    
    server {
        listen 80;
        access_log /var/log/nginx/access_headers.log kvpairs;
        location / {
            proxy_pass http://www.example.com;
        }
    }
    view raw
    

    如您所见,nginScript代码不与配置语法内联。 我们使用js_include指令来指定包含所有JavaScript代码的文件。 js_set指令定义了一个新的NGINX变量$ access_log_with_headers,以及填充它的JavaScript函数。 log_format指令定义了一个名为kvpairs的新格式,它使用$access_log_with_headers的值写入每个日志行。

    服务器块定义了一个简单的HTTP反向代理,它将所有请求转发到http://www.example.comaccess_log指令指定将使用kvpairs格式记录所有请求。

    现在让我们看一下处理并输出日志行的JavaScript代码。 我们有两个功能:

    • kvHeaders:一个用于将headers对象转换为一串键值对的支持函数。 该函数必须在调用它们的函数之前声明。
    • kvAccessLog: 在NGINX配置中的js_set指令中定义的函数。 它接收两个对象参数,表示客户端请求(req)和后端服务器的响应(res)。 像这样的内置对象可以传递给所有HTTP nginScript函数。
    // header_logging.js
    function kvHeaders(headers, parent) {
        var kvpairs = "";
        for (var h in headers) {
            kvpairs += " " + parent + "." + h + "=";
            if ( headers[h].indexOf(" ") == -1 ) {
            kvpairs += headers[h];
            } else {
                kvpairs += "'" + headers[h] + "'";
            }
        }
        return kvpairs;
    }
    
    function kvAccessLog(req, res) {
        var log = req.variables.time_iso8601;  // nginScript can access all variables
        log += " client=" + req.remoteAddress; // Property of request object
        log += " method=" + req.method;        // "
        log += " uri=" + req.uri;              // "
        log += " status=" + res.status;        // Property of response object
        log += kvHeaders(req.headers, "req");  // Send request headers object to function
        log += kvHeaders(res.headers, "res");  // Send response headers object to function
        return log;
    }
    

    kvAccessLog函数中可以看出,它是传递给js_set配置指令的返回值。 请记住,NGINX变量是按需评估的,这反过来意味着, 只有在需要变量值时才会执行js_set定义的JavaScript函数。 在此示例中, $access_log_with_headerslog_format指令中使用,因此kvAccessLog()在日志作业阶段执行。在早期的处理阶段,变量作为map和rewrite指令的一部分触发相关javaScript代码执行。

    通过我们的反向代理传递请求并观察生成的日志文件条目,我们可以看到这个nginScript优化的日志处理结果。

    $ curl http://127.0.0.1/
    $ tail --lines=1 /var/log/nginx/access_headers.log
    2017-03-14T14:36:53+00:00 client=127.0.0.1 method=GET uri=/ status=200 req.Host=127.0.0.1 req.User-Agent=curl/7.47.0 req.Accept=*/* res.Cache-Control=max-age=604800 res.Etag=x22359670651+identx22 res.Expires='Tue, 21 Mar 2017 14:36:53 GMT' res.Last-Modified='Fri, 09 Aug 2013 23:54:35 GMT' res.Vary=Accept-Encoding res.X-Cache=HIT
    

    nginScript的大部分功能都是它访问NGINX内部的结果。 此示例使用请求和响应对象的多个属性。 用于TCP和UDP应用程序的Stream nginScript模块使用具有相应属性的单个会话对象。 有关nginScript解决方案的其他示例,请参阅我们的博客:

    原文链接

    翻译自Introduction to the NGINX JavaScript Module的Getting Started with the NGINX JavaScript Module – A Real‑World Example部分


    本文作者: seawish
    本文链接: 使用Nginx JavaScript格式化输出访问日志
    版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 许可协议。转载请注明出处!

    相关文章

      网友评论

          本文标题:[译]使用nginxScript格式化输出Nginx访问日志

          本文链接:https://www.haomeiwen.com/subject/dvavcqtx.html