美文网首页
linux环境安装kafka和es

linux环境安装kafka和es

作者: 灿烂的GL | 来源:发表于2022-07-12 14:41 被阅读0次

一、安装es
选择自己需要的版本,解压缩到指定目录,es下载参考连接1,这里我选的是7.15.1
1、修改配置文件
config目录编辑elssticsearch.yml

image.png
image.png

修改上述5项,注意:后是一个空格,否则写错会报:Exception in thread "main" SettingsException[Failed to load settings from [elasticsearch.yml]]; nested: ElasticsearchParseException[malformed, expected settings to start with 'object', instead was [VALUE_STRING]];

config目录编辑jvm.option,添加


image.png

否则启动可能会报内存不足的错。

bin目录修改初始化java走的版本,es需要java11的环境,我这里本地java是1.8,所以选择运行es自带的java环境


es自带java所在目录.png

修改bin下elasticsearch.env文件


image.png
只需要注释掉判断分支检测本地java这块即可,否则会报错:future versions of Elasticsearch will require Java 11

2、添加账号
先将es文件夹下的所有目录的所有权限迭代给esuser用户

useradd elastic
chown -R elastic:elastic /usr/local/elasticsearch-7.15.1

修改 vi /etc/security/limits.conf 添加

elastic hard nofile 65536
elastic soft nofile 65536

修改/etc/sysctl.conf

vm.max_map_count=655360

执行
sysctl -p

3、启动es
切换到新建的账户 su elastic
执行

./bin/elasticsearch---前天启动
./bin/elasticsearch -d ---------后台启动

访问前端地址: ip:9200查看是否启动成功

image.png
3、安装es可视化界面
ES的可视化插件有两种,一种是Elasticsearch-Head插件(推荐使用),另一种是ES的官方插件 Kibana(跟版本有关联,配置变更后因为不明原因闪退)
安装步骤参考:
1、Elasticsearch-Head包下载地址
下载后解压包
在谷歌浏览器里面输入:
chrome://extensions/
选择解压后路径即可
image.png
之后就可以在插件图标里选择即可
image.png

二、部署kafka
需要将zookeeper和kafka解压缩到机器
这里zk用的是3.6.2版本,kafka用的是2.13-3.2.0版本
1、部署zookeeper
config目录下执行

mv zoo_sample.cfg zoo.cfg
image.png

启动 zk

syatemctl start zookeeper

2、启动kafka
修改kafka配置文件server.properties,添加本机地址外部可访问

image.png
启动kafka,bin目录下
#前台启动
./kafka-server-start.sh -daemon  ../config/server.properties
#后台启动
nohup  ./kafka-server-start.sh ../config/server.properties &

3、创建topic

./kafka-topics.sh --create --bootstrap-server ip:9092 --replication-factor 1 --partitions 2 --topic test_info
#验证topic是否创建成功
./kafka-topics.sh --bootstrap-server ip:9092 --list
#开两个窗口验证下消费情况
./kafka-console-consumer.sh --bootstrap-server ip:9092  --topic test_info
./kafka-console-producer.sh --bootstrap-server ip:9092  --topic test_info test

参考:
1、es国内下载源
2、es部署步骤参考
3、es安装常见问题
4、搭建kafka
5、搭建zk

相关文章

  • linux环境安装kafka和es

    一、安装es选择自己需要的版本,解压缩到指定目录,es下载参考连接1,这里我选的是7.15.11、修改配置文件co...

  • mac(Linux)安装配置kafka环境

    mac(Linux)安装配置kafka环境 本文介绍如何在Mac系统上安装和配置kafka环境,也适用于Linux...

  • kafka2.11-1.0.0集群安装

    kafka安装记录1、准备环境使用VMware安装3台Linux服务器 2、安装JDK&ZK&KAFKA安装JDK...

  • Kafka界面管理工具-kafkamanager

    在上一篇文章《Linux安装Kafka》中,已经介绍了如何在Linux安装Kafka,以及Kafka的启动/关闭和...

  • kafka的安装及页面监控

    kafka的安装: 下载 kafka的安装文件。 linux下解压:tar -zxvf ./kafka_2.11-...

  • linux环境安装ES

    创建ES启动用户 官网下载软件包与解压 参考链接 下载中心 - Elastic 中文社区 (elasticsear...

  • Linux解压安装Kafka

    Linux解压安装Kafka MacBook Linux安装zookeeper[https://blog.csdn...

  • Kafka 安装与使用

    安装 安装 Kafka 需要 Java 环境和 Zookeeper 环境(新版不需要 Zookeeper 环境,因...

  • centos7搭建ElasticSearch环境

    linux环境: centos7es版本:7.0.0java版本:1.8搭建filebeat安装logstash ...

  • PHP使用kafka入门

    第一步,kafka安装使用入门 0:环境准备,Linux环境(CentOS为例),wget命令,git命令,jav...

网友评论

      本文标题:linux环境安装kafka和es

      本文链接:https://www.haomeiwen.com/subject/suzobrtx.html