elk + filebeat 6.1.0 安装与demo展示

1.linux和jdk版本

[appadm@dev-biz-test04 comm]$ lsb_release -a
LSB Version:    :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarch
Distributor ID:
Description:     
Release:        n/a
Codename:       n/a

[appadm@dev-biz-test04 ~]$ java -version
java version "1.8.0_151"
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)

2.elk + filebeat下载

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.1.0.tar.gz
wget https://artifacts.elastic.co/downloads/kibana/kibana-6.1.0-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/logstash/logstash-6.1.0.tar.gz
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.1.0-linux-x86_64.tar.gz

  如果不能连接外网请自行去官网下载

https://www.elastic.co/downloads

3.elasticsearch解压及启动

• 解压缩
  tar -zxvf elasticsearch-6.1.0.tar.gz -C /app/thfd/
• 重命名
  mv elasticsearch-6.1.0 elasticsearch
    如果当前用户是root，请新建用户名和群组，如下

groupadd elk
useradd -r -g elk elk001
passwd elk001
123456

  此时新建了elk001的用户名，群组为elk，密码为123456
  修改用户名、群组如下
chown -R elk001:elk /app/thfd/elasticsearch/
  此时如果你不修改配置文件的话，可以直接启动，但是我此次修改了配置文件里的ip，因此要改动一些地方。

• 修改ip

cd /app/thfd/elasticsearch/config
vi elasticsearch.yml

• 如果linux环境内存过小，则要修改启动jvm

cd /app/thfd/elasticsearch/config
vi jvm.options

• 启动查看日志
  bin/elasticsearch -d
  
• 修改max file 打开文件的最大数目

ulimit -a
su root
vi /etc/security/limits.conf

• 修改vm.max_map_count 单个进程能拥有的最多的内存区域，默认为65536

su root
vi /etc/sysctl.conf
sysctl -p

• Centos6不支持SecComp，而ES5.2.0+默认bootstrap.system_call_filter为true

cd /app/thfd/elasticsearch/config
vi elasticsearch.yml

• 启动及成功日志如下
  bin/elasticsearch -d
  

4.kibana解压及安装

• 解压缩
  tar -zxvf kibana-6.1.0-linux-x86_64.tar.gz -C /app/thfd/
• 重命名
  mv kibana-6.1.0-linux-x86_64 kibana
• 修改ip

cd /app/thfd/kibana/config
vi kibana.yml 

• 启动
  ./bin/kibana &
  
• 访问主页

http://your_ip:5601

5.logstash解压及安装

• 解压
  tar -zxvf logstash-6.1.0.tar.gz -C /app/thfd/
• 重命名
  mv logstash-6.1.0 logstash

• 新增启动文件

  
  
• 启动

cd /app/thfd/logstash
./bin/logstash -f config/log4j_payment_website.conf &

• 查看5000端口是否已启动监听
  netstat -tlnp

5.filebeat解压及安装

• 解压缩
  tar -zxvf filebeat-6.1.0-linux-x86_64.tar.gz -C /usr/local/
• 重命名
  mv filebeat-6.1.0-linux-x86_64 filebeat

• 修改启动配置

  
  

• 启动
  ./filebeat -e -c filebeat.yml &