1、JVM配置
修改JVM,config/jvm.options,默认7.1.0的jvm为1G
2、配置原则
(1)Xmx和Xms大小设置成一样;
(2)不超过物理机内存的一半;
(3)最大不宜超过30G。
3、下载ES并且启动
4、ES基本命令
(1)查看插件列表
/bin/elasticsearch-plugin list
(2)在线安装插件
/bin/elasticsearch-plugin install analysis-icu //一个中文分词的插件
5、启动一个ES集群
/bin/elasticsearch -E node.name=node1 -E cluster.name=myes -E path.data=data/node1_data -d
/bin/elasticsearch -E node.name=node2 -E cluster.name=myes -E path.data=data/node2_data -d
/bin/elasticsearch -E node.name=node3 -E cluster.name=myes -E path.data=data/node3_data -d
6、启动kibana
kibana提供开箱即用的功能,前提是需要ES已经启动(我用的windows的环境)
/bin/kibana.bat
(1)重点使用一下Dev Tools
"help" 选项中有使用的一些快捷方式,console中提供日常的命令窗口,
(2)kibana插件安装
跟es类型,可以在线安装插件
/bin/kibana-plugin.bat install plugin_location(插件URL)
/bin/kibana-plugin.bat list
/bin/kibana-plugin.bat remove
汉化kibana配置
I18N_LOCALE=zh-CN
7、使用docker安装ELK
- Github 地址 https://github.com/onebirdrocks/geektime-ELK/
里面有写好的docker-compose文件,直接运行即可
8、安装Logstash 7.1.0
同样开箱即用(windows 环境)
- 下载最MovieLens最小测试数据集:https://grouplens.org/datasets/movielens/
使用logstash导入CSV格式数据,参考下面的文章 链接
如果日志文件报出下面这段提示信息,
[2020-08-19T10:26:53,565][INFO ][logstash.inputs.file ] No sincedb_path set, generating one based on the "path" setting
解决方案:
找到logstash安装目录下的 找到这个文件logstash-7.1.0/data/plugins/inputs/file下,你肯定看到这个文件夹是空的,其实有隐藏文件 .since 开头的文件
删除 file文件 再重新创建file文件夹再重新启动就可以看到控制台输出的json格式的日志了
9、ES分布式系统的高可用及扩展性
1. 高可用
- 数据高可用(允许有些数据节点异常,数据服务无异常)
- 服务高可用(允许有些节点停止服务,服务不中断)
2. 扩展性
- 请求量增长/数据量增长(允许将数据分布到所有节点上)
10、 ES监控工具Cerebro
安装Cerebro: https://www.jianshu.com/p/433d821f9667
网友评论