美文网首页CWIKIUS
从 Docker 中安装启动 Druid

从 Docker 中安装启动 Druid

作者: HoneyMoose | 来源:发表于2021-08-17 01:54 被阅读0次

Docker

在本 Docker 的快速指南中,我们将从Docker Hub下载 Apache Druid 镜像,在一台机器上安装并使用

DockerDocker Compose

在完成初始设置后,集群将准备好加载数据。

同时,如果你已经完成了下面内容的阅读的话将会更好的帮助你理解 Docker 安装配置的相关内容。

Druid 基本概述

数据导入概述

如果你还能对 Docker 使用的相关知识有所了解的,也能够更好的帮助你在 Docker 上使用 Druid。

安装前提

Docker

开始安装

Druid 的源代码中包含一个用于示例的docker-compose.yml文件。

这个文件可以从 Docker Hub中获取一个镜像,并可以使用这个镜像进行 Docker 的 Druid 配置和部署。

Compose 文件

docker-compose.yml示例文件将会为每一个 Druid 服务创建一个容器,包括 Zookeeper 和作为元数据存储 PostgreSQL 容器。

同时还会创建一个druid_shared的卷,并且这个卷将会在容器的挂载点为opt/shared。这个挂载点将会被用在深度存储来保证在段和任务日志之间进行共享。

Druid 容器是通过environment file进行配置的。

配置

Druid Docker 容器的配置是通过环境变量完成的。环境变量的路径指定请参考文档:标准 Druid 配置文件中的内容。

特殊的环境变量:

JAVA_OPTS– 设置 java options

DRUID_LOG4J– 设置完成的log4j.xml

DRUID_LOG_LEVEL– 覆盖在 log4j 中的默认日志级别

DRUID_XMX– 设置 JavaXmx

DRUID_XMS– 设置 JavaXms

DRUID_MAXNEWSIZE– 设置 Java 最大 new 的大小

DRUID_NEWSIZE– 设置 Java new 的大小

DRUID_MAXDIRECTMEMORYSIZE– 设置 Java 最大直接内存大小

DRUID_CONFIG_COMMON– druid “common” 属性文件的完整路径

DRUID_CONFIG_${service}– druid “service” 属性文件的完整路径

除了上面的特殊的环境变量外,在容器启动的时候 Druid 的脚本还将尝试使用以druid_为前缀的环境变量来对变量进行配置。

例如,针对 Druid 在容器中的进程使用的环境变量:

druid_metadata_storage_type=postgresql

将被转换为

Druid 的docker-compose.yml文件,展示了如何使用一个环境配置文件来完成所有 Druid 的配置。

但是,在生产环境中,建议使用DRUID_COMMON_CONFIG和DRUID_CONFIG_${service}来为服务相关的环境指派专门的配置参数。

启动集群

docker-compose up命令来在 shell 中直接启动集群。

如果你希望在后台环境中启动集群,请运行docker-compose up -d命令。

如果你使用的是示例文件目录,那么你需要从distribution/docker/目录来启动 Docker 的集群。

当你的集群完成所有的启动后,你可以通过浏览器访问http://localhost:8888控制台页面。

Druid router 进程提供了Druid 控制台(Druid console)显示的界面。

所有的 Druid 进程完全启动需要几秒钟的时间。如果在 Druid 进程启动的时候,立即打开控制台的话,你可能会看到一些可安全错误,这些安全错误是可以忽略的,直接刷新页面即可。

至此,你可以继续快速使用(Quickstart)页面第 4 步导入数据的内容。

如果你还希望加载一些其他的依赖的话,你可以直接对docker-compose.yml文件进行编辑后重启 Docker。

Docker 内存的需求

如果你在 Docker 启动的时候发现存在进程崩溃,并且错误代码为 137 的话,表明你的 Docker 的内存不够。

在测试阶段,你可以为你的 Docker 指派 6G 左右的内存。

上图显示了 Docker Hub 中的 Druid 项目。

因 Druid 更多的时候需要使用集群的方式,因此 Docker 的配置可以更快的让用户完成配置后并开始使用。

https://www.ossez.com/t/docker-druid/13639#docker-1

相关文章

网友评论

    本文标题:从 Docker 中安装启动 Druid

    本文链接:https://www.haomeiwen.com/subject/xgnpvltx.html