CentOS离线安装(下篇)

作者: 再让你三行代码 | 来源:发表于2019-11-11 16:58 被阅读0次

最近在学习黑马程序员的云计算大数据教程中,老师讲到了CentOS的离线安装方法,亲自实践简单有效,在这里分享给大家~

CentOS离线安装(上篇)

CDH5的安装配置

Cloudera Manager Server和Agent都启动以后,就可以进行CDH5的安装配置了。

这时可以通过浏览器访问主节点的7180端口测试一下了(由于CM Server的启动需要花点时间,这里可能要等待一会才能访问),默认的用户名和密码均为admin:

可以看到,免费版本的CM5已经没有原来50个节点数量的限制了。

各个Agent节点正常启动后,可以在当前管理的主机列表中看到对应的节点。选择要安装的节点,点继续。

接下来,出现以下包名,说明本地Parcel包配置无误,直接点继续就可以了。

点击,继续,如果配置本地Parcel包无误,那么下图中的已下载,应该是瞬间就完成了,然后就是耐心等待分配过程就行了,大约10多分钟吧,取决于内网网速。

接下来是服务器检查,可能会遇到以下问题:

Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装,但可能会遇到问题,Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响:

通过

echo 0 > /proc/sys/vm/swappiness即可解决。

接下来是选择安装服务:

服务配置,一般情况下保持默认就可以了(Cloudera Manager会根据机器的配置自动进行配置,如果需要特殊调整,自行进行设置就可以了):

接下来是数据库的设置,检查通过后就可以进行下一步的操作了:

下面是集群设置的审查页面,我这里都是保持默认配置的:

终于到安装各个服务的地方了,注意,这里安装Hive的时候可能会报错,因为我们使用了MySql作为hive的元数据存储,hive默认没有带mysql的驱动,通过以下命令拷贝一个就行了:

cp /opt/cm-5.1.3/share/cmf/lib/mysql-connector-java-5.1.33-bin.jar /opt/cloudera/parcels/CDH-5.1.3-1.cdh5.1.3.p0.12/lib/hive/lib/

服务的安装过程大约半小时内就可以完成:

安装完成后,就可以进入集群界面看一下集群的当前状况了。

这里可能会出现无法发出查询:对 Service Monitor 的请求超时的错误提示,如果各个组件安装没有问题,一般是因为服务器比较卡导致的,过一会刷新一下页面就好了:

测试

在集群的一台机器上执行以下模拟Pi的示例程序:

sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100

执行过程需要花一定的时间,通过YARN的后台也可以看到MapReduce的执行状态:

检查Hue

首次登陆Hue会让设置一个初试的用户名和密码,设置好,登陆到后台,会做一次检查,一切正常后会提示:

到这里表明我们的集群可以使用了。

遇到的问题

Agent启动后,安装阶段“当前管理的主机”中显示的节点不全,每次刷新显示的都不一样。

这是由于在主节点上启动了Agent后,又将Agent scp到了其他节点上导致的,首次启动Agent,它会生成一个uuid,路径为:

/opt/cm-5.1.3/lib/cloudera-scm-agent/uuid

这样的话每台机器上的Agent的uuid都是一样的了,就会出现紊乱的情况。

解决方案:

删除

/opt/cm-5.1.3/lib/cloudera-scm-agent/目录下的所有文件。

清空主节点CM数据库。

最佳实践

在内网单独搭建yum的repo,然后CM的管理界面安装Agent,这样安装比较快,也不会出现什么问题。

如果手动添加添加Agent的话,需要注意启动之前删除相关的标示文件,否则Server端在数据库中记录Agent的信息,还得清理数据库中的信息,就麻烦了。

CentOS离线安装(上篇)


我在学习大数据云计算的过程中,发现黑马程序员的免费教程还是很适合零基础小白去参考学习的,放在这里供大家参考使用:

大数据hadoop入门

云计算大数据linux教程

网站数据分析实战

云计算大数据之zookeeper

云计算大数据Hive

相关文章

  • CentOS离线安装(下篇)

    最近在学习黑马程序员的云计算大数据教程中,老师讲到了CentOS的离线安装方法,亲自实践简单有效,在这里分享给大家...

  • nodejs10安装

    CentOS7在线安装 CentOS7离线安装 下载RPM包,安装即可 Ubuntu在线安装 Ubuntu离线安装...

  • docker系列专栏

    centos7上rpm离线安装docker18centos7离线安装docker-composedocker修改默...

  • Docke离线部署Redis集群

    1、离线安装Docker环境 参考:CentOS/RedHat 6.5 离线安装Docker 1)根据离线下载的依...

  • Centos下docker离线安装

    Centos下docker离线安装 1、下载docker安装文件 离线安装docker,需要下载docker的安装...

  • centos 7离线安装中文版GitLab

    centos 7.6通过离线方式安装中文版GitLab。由于在线安装下载很慢,推荐使用离线安装。离线安装方法: 第...

  • CentOS离线安装rpm包

    CentOS离线安装rpm包 rpm离线包的下载 先找一台有网络的CentOS机器 利用CentOS系统yum下载...

  • RabbitMQ用户命令_策略_日志

    RabbitMQ相关安装 Centos离线安装RabbitMQ并开启MQTT[https://blog.csdn....

  • centos7安装google浏览器

    关键词:centos7,在线安装Google浏览器、离线安装 首先,查询centos7中是否已安装Google浏览...

  • centos7.4安装oracle11g

    centos7.4安装离线oracle11g服务端 centos7.4安装docker版oracle11g镜像

网友评论

    本文标题:CentOS离线安装(下篇)

    本文链接:https://www.haomeiwen.com/subject/hcgtictx.html