经常有人疑惑Apache hadoop和CDH版本有什么区别,到底应该使用CDH还是Apache版本?
1.Hadoop有几个版本?
2.CDH有几种安装方式?
3.CDH在安装认证方面做了什么改变?
Cloudera的CDH和Apache的Hadoop的区别 目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进)、Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,简称CDH)、Hortonworks版本(Hortonworks Data Platform,简称“HDP”)。
对于国内而言,绝大多数选择CDH版本,CDH和Apache版本主要区别如下:
(1) CDH对Hadoop版本的划分非常清晰,只有两个系列的版本,分别是cdh3和cdh4,分别对应第一代Hadoop(Hadoop 1.0)和第二代Hadoop(Hadoop 2.0),相比而言,Apache版本则混乱得多;比Apache hadoop在兼容性,安全性,稳定性上有增强,并且将hadoop生态系统中各个软件打包在一起,防止不同版本之间组合带来的问题,比如apache版本的用户可能遇到“hadoop 2.2.0应该选用哪个hive版本”这样的问题。
(2) CDH3版本是基于Apache hadoop 0.20.2改进的,并融入了最新的patch,CDH4版本是基于Apache hadoop 2.X改进的,CDH总是并应用了最新Bug修复或者Feature的Patch,并比Apache hadoop同功能版本提早发布,更新速度比Apache官方快。
(3)安全 CDH支持Kerberos安全认证,apache hadoop则使用简陋的用户名匹配认证 。
(4)CDH文档清晰,很多采用Apache版本的用户都会阅读CDH提供的文档,包括安装文档、升级文档等。
(5)CDH支持yum/apt包,tar包,rpm包,cm安装,Cloudera Manager三种方式安装,Apache hadoop只支持tar包安装。
注:CDH使用推荐的yum/apt包安装时,有以下几个好处:
1、联网安装、升级,非常方便
2、自动下载依赖软件包
3、Hadoop生态系统包自动匹配,不需要你寻找与当前Hadoop匹配的Hbase,Flume,Hive等软件,Yum/Apt会根据当前安装Hadoop版本自动寻找匹配版本的软件包,并保证兼容性。
4、自动创建相关目录并软链到合适的地方(如conf和logs等目录),自动创建hdfs, mapred用户,hdfs用户是HDFS的最高权限用户,mapred用户则负责mapreduce执行过程中相关目录的权限。




参考
Hadoop HDP和CDH版本比较
http://t.zoukankan.com/chong-zuo3322-p-12794982.html
Apach Hadoop 与 CDH 区别
https://www.pianshen.com/article/21461469617
CentOS7 上搭建 CDH(6.3.0)
https://www.pianshen.com/article/35251141046/
Hadoop与第三方(CDH等)的比较
https://blog.csdn.net/qq_43141726/article/details/105120560
网友评论