美文网首页
2019-09-06 ES处理生产数据

2019-09-06 ES处理生产数据

作者: 浪尖的游鱼 | 来源:发表于2019-09-29 09:39 被阅读0次

    这是年初的项目,原先司内生产数据都是采用的共享网络磁碟机的方式再用排程(SSIS)处理的,方法不错但是耦合性较高,如今有人带来了新技术,又有新的项目,那么这就是一个很好的技术迭代的机会。

    项目分析

    线上机械生产会产出生产LOG,其类型类似系统日志。生产LOG需要用来监察生产,所以在及时性上也有一定的要求。

    项目框架

    项目框架
    filebeat.yml    
    C:\Program Files.....
    client端用戶文件抓取邏輯
    
    
    S0001_L_SMT_PT200_MCD_PRO.conf
    /etc/logstash.....
    指定logstash偵測端口,輸出出口(至elastsearch),并分配解析
    
    
    sort.rb
    /etc/.......
    負責解析logstash分配的任務
    
    #########################################
    #elastalert功能已移除
    #config.yaml
    #/ELASTALERT/.......
    #elastalert主程式設定檔
    
    
    #S0001_ALART_SMT_PT200_MCD_PRO.yaml
    #/ELASTALERT/.......
    #elastalert任務設定檔
    
    #mcd_post.py
    #/usr/lib/python2.7/.......
    #負責處理elastalert的任務
    #########################################
    
    ElasticSearch.py
    替代elastalert功能
    

    图和解释有一定差距,后来对数据整合处理步骤进行了修改
    再往后就是一些细节化的信息,就不多说了

    结语

    融入生产后维护的重点:
    1.对于如何快速恢复filebeat.yml的现场需要详细指导,以防止线上因为异常更换电脑
    2.ES上的数据处理注意不同server间时间差的问题(本处采用filebeat本机时间,这到是个软件问题)

    相关文章

      网友评论

          本文标题:2019-09-06 ES处理生产数据

          本文链接:https://www.haomeiwen.com/subject/jtqsyctx.html