美文网首页大数据女娲
[bug报告]nxlog字符集转化导致内存泄漏

[bug报告]nxlog字符集转化导致内存泄漏

作者: P_Chou | 来源:发表于2017-05-29 11:17 被阅读32次

    nxlog号称“日志收集神器”。nxlog 2.8社区版存在一个bug,此bug会导致明显的内存泄漏。

    nxlog

    重现方法

    采用支持自动字符集转化的扩展,对日志数据进行转化时:

    <Extension charconv>
        Module xm_charcov
        AutodetectCharsets gbk, utf-8, euc-jp, utf-16, utf-32, iso8859-2
    </Extension>
    
    <Input filein>
        Module  im_file
        File  "tmp/input"
        Exec  convert_fields("AUTO", "utf-8");
    </Input>
    
    ...
    

    nxlog对配置了AUTO源字符集的日志数据进行转化时,会按照顺序从AutodetectCharsets罗列的候选字符集从左到右依次尝试进行转化(采用libiconv),直到成功。

    如果源文件的字符集无法匹配第一个AutodetectCharsets,那么将导致内存泄漏,使用valgrind测试得到下面输出:

    valgrind

    可以看到,在这个测试下,泄漏的字节尽然高达150M,如果测试继续下去,可能更高。在压力测试下,泄漏的速度甚至高达30M/s。而泄漏的根源是iconv_open没有对应的iconv_close

    问题分析

    通过源码分析,可以发现在src/modules/extension/charconv/charconv.c_nx_convert负责iconv_open,并调用iconv,但是转化失败会导致抛出异常(long jump)。于是iconv_close将被跳过:

    _nx_convert

    修复方法

    修复这个问题有两个方面:

    1. 尽量避免使用AUTO源,通过观察AUTO的逻辑,可以发现效率比较低下,最好能够提前知道源文件的字符编码。夏洛克采集程序Mozilla Firefox浏览器中对文档字符集自动探测算法集成到了产品中,从而尽可能避免使用AUTO
    2. _nx_convert方法内部catch住异常,并在保证关闭后rethrow。由于C语言无法模拟finally,如果考虑到代码的优雅性,那么应避免在iconv_close之前throw异常。

    相关文章

      网友评论

        本文标题:[bug报告]nxlog字符集转化导致内存泄漏

        本文链接:https://www.haomeiwen.com/subject/grskfxtx.html