docker安装cloudera

docker拉取国外的镜像速度简直难以忍受,因此配置国内的阿里云加速服务拉取镜像。

image.png

在/etc/docker目录下新建daemon.json文件，并写入一下内容
{
"registry-mirrors": ["https://2elq31uu.mirror.aliyuncs.com"]
}
之后再拉取国内镜像的时候速度就会非常快了

docker pull cloudera/quickstart:latest

总共4个多G的文件，拉取下来之后，启动容器

docker run --privileged=true --hostname=quickstart.cloudera -p 8020:8020 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -t -i -d cloudera/quickstart /usr/bin/docker-quickstart

后续问题：启动之后很多数据获取不到，应该是内存不足，命令改造如下

docker run --privileged=true -m 1800M --memory-swap -1 --hostname=quickstart.cloudera -p 8020:8020 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -t -i -d cloudera/quickstart /usr/bin/docker-quickstart

-m 限制容器所能使用宿主机的最大内存大小
--memory-swap 限制内存和交换空间总和大小 -1表示不做限制

启动该容器后使用docker命令进入该容器，并执行

/home/cloudera/cloudera-manager --force --express

来启动cloudera-manager

启动出现异常

进入容器 /var/log/cloudera-scm-server
日志出现如下异常

image.png

由于服务器内存不够，占用内存基本达到60%以上，某些服务无法启动，暂时作罢。。。。