基本拓扑.png
最近急需日志分析工具，来辅助系统运维，不然的话，系统出问题，一个个登录用tail看日志太浪费时间，前段时间部署了一次ELK，发现logstash有些耗资源了，这次改用EFK，由于资源有限，先单台部署研究下如何使用。由于部署时遇到一些坑，在此做一下记录，以供后期提高并发扩容至集群模式的时候做参考用。
一、所需软件
1.elasticsearch-7.7.0-linux.tar.gz
2.kibana-7.7.0-linux.tar.gz
3.filebeat-7.7.0-linux.tar.gz
以上必须在同一版本，不然很容易出错
下载网址：https://elasticsearch.cn/download/
二、单机部署
（一）elasticsearch部署
1.环境设置
a.添加一般用户，用于后续启动服务
useradd es
b.修改系统文件属性（/etc/security/limits.conf）
设置文件属性.jpg
c.修改系统文件属性（/etc/sysctl.conf）
添加一条记录：vm.max_map_count=655360
设置完执行 sysctl -p使其生效
d.在/etc/profile文件后边添加java环境变量
注意这里的java版本要和es的匹配才行，一般可选用其自带的
设置完，执行souce /etc/profile使环境变量生效
2.修改配置文件
cluster.name: my-harlan #配置集群的名称
node.name: harlan_ansible #本节点的名称，此主机的名称
path.data: /application/es/to/data #日志存放地址
path.logs: /application/es/to/logs #elasticsearch的本地日志
network.host: 0.0.0.0 #任意IP都可以访问elasticsearch
http.port: 9200 #elasticsearch的访问端口
cluster.initial_master_nodes: ["harlan_ansible"] #开启集群的节点
http.cors.enabled: true #如果配置elasticsearch-head，要加这两个
http.cors.allow-origin: "*"
3.启动服务
在启动服务之前，将es本地日志和数据存放地址、以及es程序目录的权限和所有者都设置成es
chown -R es:es ./elasticsearch
接下来切换至es用户启动服务 ：
./elasticsearch/bin/elasticsearch -d
4.Elasticsearch API
集群状态：http:// ip:9200/_cluster/health?pretty
节点状态：http:// ip:9200/_nodes/process?pretty
分片状态：http:// ip:9200/_cat/shards
索引分片存储信息：http:// ip:9200/index/_shard_stores?pretty
索引状态：http:// ip:9200/index/_stats?pretty
索引元数据：http:// ip:9200/index?pretty
（二）kibana部署
1.修改配置文件：
server.port: 5601 #kibana端口
server.host: "10.0.0.169" #绑定的主机IP地址
elasticsearch.hosts: ["http://10.0.0.169:9200"] #elasticsearch的主机IP
kibana.index: ".kibana" #开启此选项
logging.dest: /data/log/kibana/kibana.log # 配置kibana日志输出到哪里
i18n.locale: "zh-CN" #kibana默认文字是英文，变更成中文
2.启动服务
在启动服务之前，将kibana本地日志和数据存放地址、以及kibana程序目录的权限和所有者都设置成es
chown -R es:es ./kibana
接下来切换至es用户启动服务 ：
./kibana/bin/kibana
3.通过浏览器访问地址：http://ip:5601
kibana界面.jpg
（三）通过访问kibana浏览器，我们可以直接在需要收集日志的主机上安装Beats软件，不需要在ELK主机上安装Logstash软件包。通过配置Beats服务的配置文件，来收集不同服务的日志。当然这样有一定的弊端，受限于资源条件，目前先这么搞。
1.在客户机安装filebeat软件
rpm -vih filebeat-7.7.0-x86_64.rpm
2.修改 /etc/filebeat/filebeat.yml配置信息：
- type: log
enabled: true #开启，由false变成true
paths: - /var/log/*.log #默认系统日志路径 #- c:\programdata\elasticsearch\logs\*
#=========Filebeat modules ================
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: flase
#===== Elasticsearch template setting =================
setup.template.settings:
index.number_of_shards: 1
#============== Kibana ======================
setup.kibana:
host: "10.0.0.169:5601" #添加上kibana的主机IP
#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
hosts: ["10.0.0.169:9200"] #Elasticsearch主机的IP地址
username: "es" #启动elasticsearch的用户
password: "harlan-herine" #启动elasticsearch的用户的密码
#----------------------------- Logstash output --------------------------------
output.logstash:
hosts: ["localhost:5044"]
3.启用和配置nginx模块来收集nginx日志
filebeat modules enable nginx
4.在 /etc/filebeat/modules.d/nginx.yml 文件中修改设置
[root@harlan-web ~]# vim /etc/filebeat/modules.d/nginx.yml
1 # Module: apache
2 # Docs: https://www.elastic.co/guide/en/beats/filebeat/7.3/filebeat-module-apache.html
3
4 - module: nginx
5 # Access logs
6 access:
7 enabled: true
8 var.paths: ["/application/nginx/logs/*"] #nginx日志存放目录
9 # Set custom paths for the log files. If left empty,
10 # Filebeat will choose the paths depending on your OS.
11 #var.paths:
12
13 # Error logs
14 error:
15 enabled: true
16
17 # Set custom paths for the log files. If left empty,
18 # Filebeat will choose the paths depending on your OS.
19 #var.paths:
5.用setup 命令加载 Kibana 仪表板
filebeat setup
6.启动 Filebeat
systemctl start filebeat
7.打开浏览器可以看到日志数据
nginx日志列表.png
单机部署ELK就记录到此，具体如何与实际运维紧密结合还需要进一步摸索。
网友评论