elasticsearch入门到放弃之docker搭建

作者: zhaoyunxing | 来源:发表于2019-07-02 02:56 被阅读22次

    基于docker构建的代码地址:https://github.com/zhaoyunxing92/docker-case/tree/develop/elasticsearch 可以直接使用,我下面也是按照这个写的这个文档

    为什么从搭建开始

    在我的观念里elasticsearch是大数据的产物,所有很抵触只是作为边缘技术没有用心学过,但是上周五我的组员在它跟springboot整合的时候出现了问题.我就想在本地搭建一套集群还原他的问题,前后大概消耗了两天时间,于是我就想写出来以免后人再入我的坑,

    单机版

    docker-compose.yml

    version: '3'
    services:
      # elasticsearch
      elasticsearch:
        image: elasticsearch:6.5.4
        container_name: elasticsearch # docker启动后的名称
        privileged: true
        # restart: always  #出现异常自动重启
        ports:
          - 9200:9200
          - 9300:9300
        environment:
          cluster.name: elasticsearch  # es 名称
    

    可以指定config文件运行,在下面集群里面我会写出来

    docker运行

    # --restart=always 可以根据个人所需添加
    docker run -d --name elk -p 9200:9200 -p 9300:9300 --restart=always elasticsearch:6.5.4
    

    docker-compose运行

    docker-compose -f docker-compose.yml up -d
    

    到这里单机版就很简单的结束了,我一起搭建skywalking的时候也就单机版运行结束了

    集群版

    这个是花费我时间最长的,主要是我对docker的网络架构一知半解导致的

    es-cluster.yml配置

    # 集群配置 伪集群
    version: '3'
    services:
      es1:
        image: elasticsearch:6.5.4
        container_name: es1 # docker启动后的名称
        network_mode: host # 公用主机的网络
        environment:
           #cluster.name: "elasticsearch"  # es 名称config配置了这里就不用重复了
           ES_JAVA_OPTS: "-Xms512m -Xmx512m"  # 自定内存
        volumes:
          - /data/es/es1/data:/usr/share/elasticsearch/data
          - /data/es/es1/logs:/usr/share/elasticsearch/logs
          - ./config/es1/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      es2:
        image: elasticsearch:6.5.4
        container_name: es2 # docker启动后的名称
        network_mode: host
        environment:
           #cluster.name: "elasticsearch"  # es 名称config配置了这里就不用重复了
           ES_JAVA_OPTS: "-Xms512m -Xmx512m"  # 自定内存
        volumes:
          - /data/es/es2/data:/usr/share/elasticsearch/data
          - /data/es/es2/logs:/usr/share/elasticsearch/logs
          - ./config/es2/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      es3:
        image: elasticsearch:6.5.4
        container_name: es3 # docker启动后的名称
        network_mode: host
        environment:
           #cluster.name: "elasticsearch"  # es 名称config配置了这里就不用重复了
           ES_JAVA_OPTS: "-Xms512m -Xmx512m"  # 自定内存
        volumes:
          - /data/es/es3/data:/usr/share/elasticsearch/data
          - /data/es/es3/logs:/usr/share/elasticsearch/logs
          - ./config/es3/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
    
    • network_mode: host 这个很重要表示这三组都使用宿主机的网络,感兴趣的可以了解下docker的网络模式
    • container_name: es3 docker启动后的名称
    • volumes下面配置都是目录挂载,,值得注意的是你要关注下他们的权限,挂载的data目录必须是空的不然集群也会不成功
    • ES_JAVA_OPTS 指定jvm运行内存

    master elasticsearch.yml配置

    cluster.name: elastic  # 集群必须一样
    node.name: node-data-1 # 节点名称必须不一样
    node.master: true  # 表示主节点
    node.data: true
    http.port: 9201
    transport.tcp.port: 9301
    #network.bind_host: 0.0.0.0
    network.host: 0.0.0.0
    # 设置集群自动发现服务id集合
    discovery.zen.ping.unicast.hosts: ["127.0.0.1:9301","127.0.0.1:9302","127.0.0.1:9303"]
    discovery.zen.minimum_master_nodes: 1
    
    # heald 插件使用
    http.cors.enabled: true
    http.cors.allow-origin: "*"
    http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type
    # 开启密码认证 xpack
    xpack.security.enabled: true
    
    • cluster.name 集群的名称必须一致
    • node.name 节点名称必须不一样
    • node.master 是否主节点
    • http.port http端口 这两个端口也是坑的地方,后面在跟springboot整合的时候我再说
    • transport.tcp.port tcp端口
    • discovery.zen.ping.unicast.hosts 集群的ip数据同步是通过tcp端口进行的

    slave elasticsearch.yml配置

    slave跟master的配置基本一致主要是node.master: false其他都一样,这里就不写了,你可以去看我github上的配置(elasticsearch/config/es2/elasticsearch.yml)

    docker-compose启动

    # -f 指定yml文件运行
    docker-compose -f es-cluster.yml up -d
    

    到这里集群版的也算是完成了

    可能遇到的问题

    • 挂载容器内部目录到物理机上出现 [0.001s][error][logging] Error opening log file 'logs/gc.log': Permission denied

      这个是权限问题

      # 给目录775权限
      sudo chmod -R 775 /data/es/
      # 修改文件归属者
      sudo chown -R 1000:1000 /data/es/
      
    • java.lang.RuntimeException: can not run elasticsearch as root

      es禁止root用户直接运行,切换用户就可以了,不过用docker好像没有出现

    • max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

      jvm 内存不够需要修改系统jvm内存

       vim /etc/sysctl.conf
       # 追加配置
       vm.max_map_count=655300
      

      修改完后执行: sudo sysctl -p可以执行:more /proc/sys/vm/max_map_count验证下是否修改成功

    • failed to read [id:1, file:/usr/share/elasticsearch/data/nodes/0/_state/node-1.st]

      挂载的宿主目录文件加不是空导致,清空即可

    • java.lang.OutOfMemoryError: Java heap space (oom和gc等这类问题我电脑无法还原就弄这个oom说明问题吧)

      jvm内存设置的小了修改 ES_JAVA_OPTS参数即可

    • docker启动了但是不能正常访问或者只能本地访问,另外在用网段的电脑不能访问

      这个主要是docker网络模式的问题network_mode: host设置上就可以了,你也可以通过docker inspect 容器id 查看docker帮我们绑定的ip

    最后

    如果你想了解更多的文章可以微信搜索zhaoyx92,或者扫码关注.别抱有太高期望,更新很慢的

    zhaoyx92

    相关文章

      网友评论

        本文标题:elasticsearch入门到放弃之docker搭建

        本文链接:https://www.haomeiwen.com/subject/bkhacctx.html