美文网首页
linux环境安装kafka和es

linux环境安装kafka和es

作者: 灿烂的GL | 来源:发表于2022-07-12 14:41 被阅读0次

    一、安装es
    选择自己需要的版本,解压缩到指定目录,es下载参考连接1,这里我选的是7.15.1
    1、修改配置文件
    config目录编辑elssticsearch.yml

    image.png
    image.png

    修改上述5项,注意:后是一个空格,否则写错会报:Exception in thread "main" SettingsException[Failed to load settings from [elasticsearch.yml]]; nested: ElasticsearchParseException[malformed, expected settings to start with 'object', instead was [VALUE_STRING]];

    config目录编辑jvm.option,添加


    image.png

    否则启动可能会报内存不足的错。

    bin目录修改初始化java走的版本,es需要java11的环境,我这里本地java是1.8,所以选择运行es自带的java环境


    es自带java所在目录.png

    修改bin下elasticsearch.env文件


    image.png
    只需要注释掉判断分支检测本地java这块即可,否则会报错:future versions of Elasticsearch will require Java 11

    2、添加账号
    先将es文件夹下的所有目录的所有权限迭代给esuser用户

    useradd elastic
    chown -R elastic:elastic /usr/local/elasticsearch-7.15.1
    

    修改 vi /etc/security/limits.conf 添加

    elastic hard nofile 65536
    elastic soft nofile 65536
    

    修改/etc/sysctl.conf

    vm.max_map_count=655360
    

    执行
    sysctl -p

    3、启动es
    切换到新建的账户 su elastic
    执行

    ./bin/elasticsearch---前天启动
    ./bin/elasticsearch -d ---------后台启动
    

    访问前端地址: ip:9200查看是否启动成功

    image.png
    3、安装es可视化界面
    ES的可视化插件有两种,一种是Elasticsearch-Head插件(推荐使用),另一种是ES的官方插件 Kibana(跟版本有关联,配置变更后因为不明原因闪退)
    安装步骤参考:
    1、Elasticsearch-Head包下载地址
    下载后解压包
    在谷歌浏览器里面输入:
    chrome://extensions/
    选择解压后路径即可
    image.png
    之后就可以在插件图标里选择即可
    image.png

    二、部署kafka
    需要将zookeeper和kafka解压缩到机器
    这里zk用的是3.6.2版本,kafka用的是2.13-3.2.0版本
    1、部署zookeeper
    config目录下执行

    mv zoo_sample.cfg zoo.cfg
    
    image.png

    启动 zk

    syatemctl start zookeeper
    

    2、启动kafka
    修改kafka配置文件server.properties,添加本机地址外部可访问

    image.png
    启动kafka,bin目录下
    #前台启动
    ./kafka-server-start.sh -daemon  ../config/server.properties
    #后台启动
    nohup  ./kafka-server-start.sh ../config/server.properties &
    

    3、创建topic

    ./kafka-topics.sh --create --bootstrap-server ip:9092 --replication-factor 1 --partitions 2 --topic test_info
    #验证topic是否创建成功
    ./kafka-topics.sh --bootstrap-server ip:9092 --list
    #开两个窗口验证下消费情况
    ./kafka-console-consumer.sh --bootstrap-server ip:9092  --topic test_info
    ./kafka-console-producer.sh --bootstrap-server ip:9092  --topic test_info test
    

    参考:
    1、es国内下载源
    2、es部署步骤参考
    3、es安装常见问题
    4、搭建kafka
    5、搭建zk

    相关文章

      网友评论

          本文标题:linux环境安装kafka和es

          本文链接:https://www.haomeiwen.com/subject/suzobrtx.html