ELK安装

作者: __元昊__ | 来源:发表于2019-05-20 19:55 被阅读0次

    ElasticSearch:智能搜索,分布式的搜索引擎

    是ELK的一个组成,是一个产品,而且是非常完善的产品,ELK代表的是:E就是ElasticSearch,L就是Logstach,K就是kibana

    E:EalsticSearch 搜索和分析的功能

    L:Logstach 搜集数据的功能,类似于flume(使用方法几乎跟flume一模一样),是日志收集系统

    K:Kibana 数据可视化(分析),可以用图表的方式来去展示,文不如表,表不如图,是数据可视化平台

    image.png

    分析日志的用处:假如一个分布式系统有 1000 台机器,系统出现故障时,我要看下日志,还得一台一台登录上去查看,是不是非常麻烦?

    但是如果日志接入了 ELK 系统就不一样。比如系统运行过程中,突然出现了异常,在日志中就能及时反馈,日志进入 ELK 系统中,我们直接在 Kibana 就能看到日志情况。如果再接入一些实时计算模块,还能做实时报警功能。

    这都依赖ES强大的反向索引功能,这样我们根据关键字就能查询到关键的错误日志了。

    1、环境

    系统:Centos7.5
    JDK: jdk-8u101-linux-x64.tar.gz
    Elasticsearch- 6.4.0 Logstash 6.4.0
    kibana-6.4.0 Filebeat 6.4.0

    2、安装

    2.1 JDK安装

    上传jdk-8u101-linux-x64.tar.gz至/usr/java/目录下,如果没有通过mkdir /usr/java命令创建。
    解压文件tar -vxf jdk-8u101-linux-x64.tar.gz


    image.png

    配置环境变量
    执行vi /etc/profile命令,在末尾添加如下内容

    #set java environment
    export JAVA_HOME=/usr/java/jdk1.8.0_181
    export JRE_HOME=/usr/java/jdk1.8.0_181/jre
    export CLASSPATH=.:$JAVA_HOME/lib:/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=$JAVA_HOME/bin:$PATH
    

    执行source /etc/profile 刷新环境变量
    执行java –version确认是否配置成功


    image.png

    2.2配置limit

    执行vim /etc/security/limits.conf
    在末尾添加以下内容

    * soft nproc 65536
    * hard nproc 65536
    * soft nofile 65536
    * hard nofile 65536
    

    执行vi /etc/sysctl.conf
    在末尾添加一下内容

    vm.max_map_count=262144
    

    重启生效

    2.3创建ELK用户

    创建用户
    groupadd elk
    useradd -g elk elk

    创建运行目录
    mkdir /data01/elk
    chown -R elk:elk /data01/elk/

    关闭防火墙
    详见https://www.jianshu.com/p/52c6b3b4f519

    2.4 ELK

    2.4.1下载地址
    Elasticsearch
    https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz
    https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.0.tar.gz.sha512
    Kibana
    https://artifacts.elastic.co/downloads/kibana/kibana-6.4.0-linux-x86_64.tar.gz
    https://artifacts.elastic.co/downloads/kibana/kibana-6.4.0-linux-x86_64.tar.gz
    Logstash
    https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.tar.gz
    https://artifacts.elastic.co/downloads/logstash/logstash-6.4.0.tar.gz
    Filebeat
    https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.0-linux-x86_64.tar.gz
    https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.4.0-linux-x86_64.tar.gz.sha512
    每个组建下面的连接是文件的唯一性校验文件
    通过shasum -a 512 + 校验文件名 的方式校验
    如果shasum命令不存在时,可执行命令安装 yum install perl-Digest-SHA

    2.4.2安装ELK
    切换用户至elk(切记一定要切换用户至elk)
    进入/data01/elk目录
    解压ELK全部文件
    tar -xzf elasticsearch-6.4.0.tar.gz
    tar -vxf filebeat-6.4.0-linux-x86_64.tar.gz
    tar -vxf kibana-6.4.0-linux-x86_64.tar.gz
    tar -vxf logstash-6.4.0.tar.gz

    配置ES
    1、在配置之前编辑host文件
    通过root用户编辑/etc/hosts文,然后切换回elk用户


    image.png

    2、配置elsaticsearch
    cd elasticsearch-6.4.0/
    vim config/elasticsearch.yml
    在文件末尾添加如下配置

    cluster.name: my_es_cluster
    node.name: elk
    
    path.data: /data01/elk/elasticsearch-6.4.0/data
    path.logs: /data01/elk/elasticsearch-6.4.0/logs
    
    http.cors.enabled: true
    http.cors.allow-origin: "*"
    node.master: true
    node.data: true
    # 配置白名单 0.0.0.0表示其他机器都可访问
    network.host: 0.0.0.0
    transport.tcp.port: 9300
    # tcp 传输压缩
    transport.tcp.compress: true
    http.port: 9200
    discovery.zen.ping.unicast.hosts: ["elk"](这个参数添加的是es的节点,可以添加多个用逗号(“,”)分隔)
    

    配置完成后启动elasticsearch
    ./bin/elasticsearch
    当所有节点启动成功后,在主节点服务器执行以下curl命令,如下图所示,标识Elasticsearch集群启动成功。(这里我们使用的是单节点)


    image.png

    3、配置 Kibana
    cd kibana-6.4.0/
    vim config/kibana.yml
    在末尾添加

    server.host: "172.24.112.17"
    

    启动kibana
    ./bin/kibana
    成功后通过浏览器访问http://172.24.112.17:5601查看是否成功


    image.png

    4、配置Logstash
    cd logstash-6.4.0
    复制配置文件
    cp config/logstash-sample.conf config/logstash.conf
    vim config/logstash.conf
    修改配置文件如下

    #从filebeat拿数据
    input {
        beats {
            port => "5044"
        }
    }
    #从file文件内拿数据
    input {
      file {
        path => "/var/log/lyh.log"
        type => "syslog"
      }
    }
     filter {
        grok {
            match => { "message" => "%{COMBINEDAPACHELOG}"}
        }
        geoip {
            source => "clientip"
        }
    }
    output {
        elasticsearch {
            hosts => [ "localhost:9200" ]
            index => "logstash-index-%{+YYYY.MM.dd}"  #创建index的命名规则
        }
    }
    

    启动Logstash

    bin/logstash -f logstash.conf --config.reload.automatic
    

    --config.reload.automatic项会定期自动重载配置,可以不停止重启Logstash就可以修改配置。

    通过Grok过滤插件解析Web日志:
    grok过滤插件使您能够将非结构化日志数据解析为结构化易查询的形式。

    grok过滤插件是在输入的日志数据中查找对应模式,因此需要您根据你自己的用例需求去配置插件如何识别对应的模式。 Web服务器日志示例中的代表行如下所示:

    83.149.9.216 - - [04/Jan/2015:05:13:42 +0000] "GET /presentations/logstash-monitorama-2013/images/kibana-search.png HTTP/1.1" 200 203023 "http://semicomplete.com/presentations/logstash-monitorama-2013/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.77 Safari/537.36"
    

    在日志行启始位置的IP地址是非常好识别的,在括号中的时间戳也同样好识别。要解析这些数据,可以使用%{COMBINEDAPACHELOG}模式,用下表的形式结构化Apache日志行:

    微信截图_20190522111717.png
    通过Geoip过滤插件增强你的数据:
    除了解析日志数据以获得更好的搜索之外,过滤插件还可以从现有数据中获取补充信息。例如,geoip插件查找IP地址,从地址中获取地理位置信息,并将该位置信息添加到日志中。
    geoip插件配置要求你指定包含要查找的IP地址信息的源字段的名称。在此示例中,clientip字段包含IP地址信息。

    由于过滤器是按序处理的,在配置文件中请确保geoip部分在grok部分之后,并且都在filter内部。

    保存更改项。因为之前在配置中设置了配置自动重载,当你再次更改配置时不必重新启动Logstash使配置生效。但是,您需要强制Filebeat从头开始读取日志文件。 为此,请转到运行Filebeat的终端窗口,然后按Ctrl + C关闭Filebeat。 然后删除Filebeat注册表文件registry。 例如,运行:

    sudo -u elk rm data/registry
    

    由于Filebeat在注册表文件中存储了每个文件被读取后的状态,删除注册表文件将强制Filebea从头开始读取文件。下一步,用下面的命令重启Filebeat:

    sudo -u elk ./filebeat -e -c filebeat.yml -d "publish"
    

    5、配置filebeat
    cd filebeat-6.4.0-linux-x86_64
    vim filebeat.yml
    在末尾添加

    filebeat.prospectors:
    - type: log
      paths:
        - /var/log/*.log   # 须填写绝对路径
      multiline.pattern: ^\[
      multiline.negate: true
      multiline.match: after
    
    filebeat.config.modules:
      path: ${path.config}/modules.d/*.yml
      reload.enabled: false
    
    setup.template.settings:
      index.number_of_shards: 3
    
    setup.kibana:
      host: "172.24.112.17:5601"
    
    output.logstash:
      hosts: ["localhost:5044"]
    #如果不适用logstash对日志进行过滤,也可以直接输出到es
    output.elasticsearch:
      hosts: ["172.24.112.17:9200"]
    #输出到kafka
    output.kafka:
      hosts: ["kafka1:9092", "kafka2:9092", "kafka3:9092"]
      topic: '%{[fields.log_topic]}'
    

    注意:遇到一个坑就是连接不上kafka broker,最后查询官方文档https://www.elastic.co/guide/en/beats/filebeat/6.4/kafka-output.html
    发现filebeat6.4版本支持kafka版本0.11到1.1.1,而我的kafka版本0.8,换成filebeat6.2一切正常

    QQ截图20190524202035.png

    启动 filebeat

    sudo -u elk ./filebeat -e -c filebeat.yml -d "publish"
    

    如果以root身份运行Filebeat,则需要更改配置文件的所有权(请参阅Config File Ownership and Permissions)。

    相关文章

      网友评论

          本文标题:ELK安装

          本文链接:https://www.haomeiwen.com/subject/ggylzqtx.html