最近在做elk的生产日志收集,对日志的匹配,筛选,用到了很多正则,大体上有两类:
1.web应用的日志,统一为key-value 的键值对,以key标识,以value描述
2.将指定的数据以固定的形式形成的日志
第一种,涉及到多层key-value的嵌套,且各个key-value之间没有顺序关系,是否存在某一个特定的key-value也不确定,匹配比较麻烦,不过一旦建立了通用的匹配规则,就可以在这类场景中很方便的拓展复用
第二种,有固定的格式,只需要获取到日志生成的规律,就可以针对性地得到解析规则,繁杂,但精准确定,缺点是每次都需要得到原始完整的日志生成规则,否则无法得到完整准确的解析规则,且在日志生成规则没有通用匹配原则时,有太多中组合,很容易漏掉其中的一部分日志,无法囊括全部的数据,且一旦日志生成规则有所调整,解析规则也必须跟进,否则会导致失效
针对两种不同的解析,在elk中进行了不同的配置,都以精简到尽可能小的单元,方便复用为原则
网友评论