美文网首页
[译]使用nginxScript格式化输出Nginx访问日志

[译]使用nginxScript格式化输出Nginx访问日志

作者: seawish | 来源:发表于2018-12-04 21:07 被阅读3次

Getting Started with the NGINX JavaScript Module – A Real‑World Example

正文

我们可以使用nginxScript实现一个模块,并将其编译到开源Nginx中,或动态加载到Nginx或者Nginx Plus中。有关使用NGINX和NGINX Plus开启nginScript的说明,请参见本文末尾。

在此示例中,我们使用NGINX或NGINX Plus作为简单的反向代理,并使用nginScript以专门的格式构造访问日志条目,即:

  • 包括客户端发送的request header
  • 包括后端返回的response header
  • 使用键值对存储访问日志,以高效注入日志处理工具,例如ELK Stack(现在称为Elastic Stack),Graylog和Splunk。

Nginx配置如下:

########### header_logging.conf
js_include conf.d/header_logging.js;             # Load JavaScript code from here
js_set     $access_log_with_headers kvAccessLog; # Fill variable from JS function
log_format kvpairs $access_log_with_headers;     # Define special log format

server {
    listen 80;
    access_log /var/log/nginx/access_headers.log kvpairs;
    location / {
        proxy_pass http://www.example.com;
    }
}
view raw

如您所见,nginScript代码不与配置语法内联。 我们使用js_include指令来指定包含所有JavaScript代码的文件。 js_set指令定义了一个新的NGINX变量$ access_log_with_headers,以及填充它的JavaScript函数。 log_format指令定义了一个名为kvpairs的新格式,它使用$access_log_with_headers的值写入每个日志行。

服务器块定义了一个简单的HTTP反向代理,它将所有请求转发到http://www.example.comaccess_log指令指定将使用kvpairs格式记录所有请求。

现在让我们看一下处理并输出日志行的JavaScript代码。 我们有两个功能:

  • kvHeaders:一个用于将headers对象转换为一串键值对的支持函数。 该函数必须在调用它们的函数之前声明。
  • kvAccessLog: 在NGINX配置中的js_set指令中定义的函数。 它接收两个对象参数,表示客户端请求(req)和后端服务器的响应(res)。 像这样的内置对象可以传递给所有HTTP nginScript函数。
// header_logging.js
function kvHeaders(headers, parent) {
    var kvpairs = "";
    for (var h in headers) {
        kvpairs += " " + parent + "." + h + "=";
        if ( headers[h].indexOf(" ") == -1 ) {
        kvpairs += headers[h];
        } else {
            kvpairs += "'" + headers[h] + "'";
        }
    }
    return kvpairs;
}

function kvAccessLog(req, res) {
    var log = req.variables.time_iso8601;  // nginScript can access all variables
    log += " client=" + req.remoteAddress; // Property of request object
    log += " method=" + req.method;        // "
    log += " uri=" + req.uri;              // "
    log += " status=" + res.status;        // Property of response object
    log += kvHeaders(req.headers, "req");  // Send request headers object to function
    log += kvHeaders(res.headers, "res");  // Send response headers object to function
    return log;
}

kvAccessLog函数中可以看出,它是传递给js_set配置指令的返回值。 请记住,NGINX变量是按需评估的,这反过来意味着, 只有在需要变量值时才会执行js_set定义的JavaScript函数。 在此示例中, $access_log_with_headerslog_format指令中使用,因此kvAccessLog()在日志作业阶段执行。在早期的处理阶段,变量作为map和rewrite指令的一部分触发相关javaScript代码执行。

通过我们的反向代理传递请求并观察生成的日志文件条目,我们可以看到这个nginScript优化的日志处理结果。

$ curl http://127.0.0.1/
$ tail --lines=1 /var/log/nginx/access_headers.log
2017-03-14T14:36:53+00:00 client=127.0.0.1 method=GET uri=/ status=200 req.Host=127.0.0.1 req.User-Agent=curl/7.47.0 req.Accept=*/* res.Cache-Control=max-age=604800 res.Etag=x22359670651+identx22 res.Expires='Tue, 21 Mar 2017 14:36:53 GMT' res.Last-Modified='Fri, 09 Aug 2013 23:54:35 GMT' res.Vary=Accept-Encoding res.X-Cache=HIT

nginScript的大部分功能都是它访问NGINX内部的结果。 此示例使用请求和响应对象的多个属性。 用于TCP和UDP应用程序的Stream nginScript模块使用具有相应属性的单个会话对象。 有关nginScript解决方案的其他示例,请参阅我们的博客:

原文链接

翻译自Introduction to the NGINX JavaScript Module的Getting Started with the NGINX JavaScript Module – A Real‑World Example部分


本文作者: seawish
本文链接: 使用Nginx JavaScript格式化输出访问日志
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 许可协议。转载请注明出处!

相关文章

网友评论

      本文标题:[译]使用nginxScript格式化输出Nginx访问日志

      本文链接:https://www.haomeiwen.com/subject/dvavcqtx.html