在一个新的HDP集群上安装HDF服务

概述

HORTONWORKS DATA PLATFORM (HDP®)
基于集中化架构 (YARN)，是业内唯一一款极其安全且可用于企业的开源 Apache Hadoop® 分布式系统。HDP 可满足静态数据的全部需求，助力实时客户应用程序，并提供可加速决策和创新进程的强劲大数据分析。

Hortonworks DataFlow (HDF) 提供了唯一的端到端平台，利用直观的拖放界面，可以在内部或云中实时收集、管理、分析和操作数据。HDF 是 Apache Nifi/MiNifi、Apache Kafka、Apache Storm 和 Druid 集成的解决方案。HDF流实时数据分析平台包含数据流管理系统、流处理和企业服务。

HDP处理静态数据；HDF处理流实时数据。

本文主要介绍如何在一个新的HDP集群上安装HDF服务。

要求环境

• 操作系统——CentOS7
• CPU架构——x86
• 一个新的HDP集群环境，参考部署HDP
• Java1.8

在新的HDP集群上安装HDF

准备好以上环境以后，我们就可以开始安装HDF了

下载HDF

下载Hortonworks HDF management pack(mpack)，参考你的操作系统，从 HDF Release Nots 下载相应的版本。这里，我们以适用于 CentOS7 操作系统的 HDF-3.0.1.1 为例。你可以先下载下来，再上传到装有ambari的主机上，或者直接登陆到ambari主机，执行命令下载：

wget http://public-repo-1.hortonworks.com/HDF/centos7/3.x/updates/3.0.1.1/tars/hdf_ambari_mp/hdf-ambari-mpack-3.0.1.1-5.tar.gz

安装HDF management pack

如果你还没有登陆到ambari主机上，请先登录，然后切换到 hdf-ambari-mpack-3.0.1.1-5.tar.gz 所在目录。接下来安装management pack，执行如下命令:

ambari-server install-mpack --mpack=./hdf-ambari-mpack-3.0.1.1-5.tar.gz --verbose

安装完成后，重启 Ambari Server：

ambari-server restart

更新HDF Base URL

安装好HDF management pack并重启 Ambari Server 之后，在浏览器访问Ambari并登陆，然后执行以下步骤：

1. 点击右上角的 admin，然后选在 Manage Ambari；
2. 找到左边的 Clusters 视图，点击 Versions，然后点击 HDP version 链接；
3. 参考你的操作系统，从 HDF Release Nots 选择相应的 HDF Base URL，然后配置到对应操作系统的base URL位置；
4. 点击 Save。

这样，HDF就配置完成，下面就可以选择相应服务进行添加了。

添加一个HDF服务到一个HDP集群

到此，我们已经将HDF服务信息添加到Ambari中，下面就可以添加HDF的服务了：

1. 在Ambari home页面，点击左边的 Actions，然后选择 +Add Service;
   

   image

2. 选择想要安装的HDF服务(NiFi, Storm, Kafka, Streaming Analytics Manager, and Schema Registry);

3. 在 Assign Masters 环节，使用先前的 Stream Processing 集群部署图分发 master 服务；

4. 在 Assign Slaves and Clients 环节，使用先前的 Stream Processing 集群部署图分发 slave 服务；

总结

到此为止，我们已经可以在一个现有的HDP集群上安装HDF服务了，过程并不复杂。HDF服务更多详细的配置步骤，请参考 更多HDF信息。

对于ambari，从接触开始，到现在的丰富功能，我看见了其在社区力量下的茁壮成长，充分感觉到了社区的力量。而我个人也在积极参与社区并贡献社区，希望志同道合的朋友们能够积极分享所学所思，让我们共同进步。

参考：
https://docs.hortonworks.com/HDPDocuments/HDF3/HDF-3.0.1.1/bk_installing-hdf-and-hdp/content/ch_install-mpack.html

转载请注明出处……

文章最新地址