环境部署

1. logstash 插件安装
2. logstash将Kafka中的日志数据订阅到HDFS

基本常识

1. logstash读取kafka数据插件

2. 单机启动3节点伪分布式es集群
   bin/elasticsearch
bin/elasticsearch bin/elasticsearch -Ehttp.port=8200 -Epath.data=node2
bin/elasticsearch -Ehttp.port=7200 -Epath.data=node3

3. 为避免同一集群指定集群名启动
   bin/elasticsearch -Ecluster.name=sniff_search -Ehttp.port=8200 -Epath.data=sniff_search

4. Kibana启动
   bin/kibana -e http://127.0.0.1:9200 -p 5601

5. filebeat解析nginx日志
   head -n 2 /opt/tmp/nginx_logs | ./filebeat -e -c /opt/tmp/nginx.yml

6. packetbeat启动
   sudo ./packetbeat -e -c sniff_search.yml -strict.perms=false

7. logstash解析nginx日志
   head -n 2 nginx_logs | bin/logstash -f config/nginx_logstash.conf

Debug

1. CentOS release 6.7 启动 elasticsearch 报错

修改elasticsearch.yml 添加一下内容

bootstrap.memory_lock: false
bootstrap.system_call_filter: false

2. don't run elasticsearch as root.

使用非root账户进行启动es

3. elasticsearch环境搭建的一些问题

P.K.

ELK 性能(1) — Logstash 性能及其替代方案