filebeat-->kafka-->logstash-->es

1. 简介

这里主要是为了在生产环境中能够快速搭建对应的
filebeat-->kafka-->logstash-->elastic-search
部署
包括
1.安装的组件版本(现在方式等)
2.对应的目录规范
3.具体的配置方式和配置注意事项
4.启动，关闭脚本
5.自检方式

2. 安装顺序

1.安装es 6.0.0
2.安装kibana 6.0.0
3.安装x-pack
保证以上调试成功后开始下面的安装
4.安装kafka( 1.1.0 版本，对应的是 kafka_2.11-1.1.0.tgz)
5.安装logstash 6.0.0
6.安装filebeat 6.2.4

3. 目录规范

1.安装目录为 ${home}/software/${组件/服务 名}
2.所有服务运行时数据和日志目录按照/data/${服务名}
3.所有脚本类文件按照 /data/${服务名}/shell 存放

4. 具体安装

4.1 es安装

cd search 
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.tar.gz
tar -xzvf elasticsearch-6.0.0.tar.gz

cd elasticsearch-6.0.0
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.0.0/elasticsearch-analysis-ik-6.0.0.zip
vim config/elasticsearch.yml:这一步是进行配置文件的配置，关于配置注意事项，需要参考es配置相关

注意多台服务器都要进行安装

bin/elasticsearch -d

浏览器监测是否成功启动

4.2 kibana安装

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.0.0-linux-x86_64.tar.gz
tar -xzvf kibana-6.0.0-linux-x86_64.tar.gz
cd kibana-6.0.0-linux-x86_64
vim config/kibana.yml:主要是进行kibana的一个设置工作

简单配置

server.port: 15601
server.host: "10.9.18.29"
elasticsearch.url: "http://10.9.18.29:10200"
## 在es中将security关闭后，下面这两项是可以注释掉的，也就是访问es不需要带用户和密码了
#这个是安装xpack后的security配置   elasticsearch.username: "kibana"
#这个是安装了xpack后security需要的配置    elasticsearch.password: "&&@%uiCigS#+5T@v!8G!"

启动

nohup bin/kibana &

验证线程使用netstat -tupln|grep 15601的方式，因为kibana是用node写的，用ps -ef|grep kibana 是无法过滤到结果的
浏览器直接访问 http:10.9.18.29:15601 进行测试

4.3 x-pack安装

4.3.1 es中安装x-pack

关闭es中的security 的验证

xpack.security.enabled: false

kill es
cd elasticsearch-6.0.0
bin/elasticsearch-plugin install x-pack
bin/elasticsearch -d  #重启

4.3.2 kibana中安装x-pack

cd kibana-6.0.0-linux-x86_64
bin/kibana-plugin install x-pack
netstat -tupln|grep 15601
kill ${pid}

nohup bin/kibana &

4.4 安装kafka

4.4.1 zookeeper依赖安装

线上zookeeper由运维统一管理，需要向运维王帅进行申请

4.4.2 安装kafka

cd search
wget http://mirrors.shu.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
tar -xzvf kafka_2.11-1.1.0.tgz
vim config/server.properties 进行配置文件的配置
nohup bin/kafka-server-start.sh config/server-0.properties &

查看当前的group命令有

bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:19092 --list
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:19092 --group ${group_name} --describe

4.5 安装logstash

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.0.0.tar.gz
tar -xzvf logstash-6.0.0.tar.gz
vim conf/logstash.conf 进行logstash的配置,具体请参考logstash的配置
nohup bin/logstash -f conf/logstash.conf &

4.6 安装filebeat

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.4-linux-x86_64.tar.gz
tar -xzvf filebeat-6.2.4-linux-x86_64.tar.gz
cd filebeat-6.2.4-linux-x86_64
vim filbeat.yml #参考 filebeat的配置相关部分
nohup ./filebeat >/dev/null 2>&1 &