CDH 集群迁移到 CDP 问题记录

作者: spark孙 | 来源:发表于2023-05-09 14:06 被阅读0次

Hadoop集群间数据迁移
Kafka--Tomcat中的Kafka生产者认证Kerbero
CDH entropy was available 问题解决
cm5.3.2安装文档
CentOS7 Cloudera Manager6 完全离线安装
MySQL to HBase over Kafka Connec
114.Livy配置
CDH集群更换IP处理方法
hbase集群同步
CDH开启HBase Replication

适用跨集群跨hadoop版本的命令

第一步把CDH集群的host全部添加到CDP集群

第二步迁移的时候CDP集群的用户和权限和CDH集群的用户和权限要一致

最后执行cp命令

hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true -update -skipcrccheck webhdfs://10.0.88.50:9870/edw/ods/pp_module/module_mi/vas_mes/component/ hdfs://10.0.88.113:8020/edw/ods/pp_module/module_mi/vas_mes/component/

Hadoop集群间数据迁移
数据迁移 1、问题描述新搭建了一套CDH5.13.1集群，需要将原apache上的数据迁移至新集群。 2、数据迁...
Kafka--Tomcat中的Kafka生产者认证Kerbero
Kafka版本：CDH-1.0.1+kafka3.1.0集群：CDH5.15 + Kerberos认证问题描述 ...
CDH entropy was available 问题解决
问题 CDH 集群，出现 Entropy 不良问题，原因是系统熵值低于 CDH 检测的阀值引起的, 所以解决思路是...
cm5.3.2安装文档
文档记录了大家cdh的过程 1.集群节点5台 2.角色分配：集群server节点：001集群agent节点：00...
CentOS7 Cloudera Manager6 完全离线安装
本文是在CentOS7.4 下进行CDH6集群的完全离线部署。CDH5集群与CDH6集群的部署区别比较大。说明：...
MySQL to HBase over Kafka Connec
组件说明 CDH 6.1.1 线上 Hadoop 集群最终采用了 CDH 发行版, 版本是 CDH 6.0.0, ...
114.Livy配置
环境CDH集群把Livy包上传至CDH集群的节点解压livy.tar.gz包添加livy用户 livy修改为...
CDH集群更换IP处理方法
注：该文档适用于CDH集群中，节点Ip地址发生变化，集群无法正常启动的场景首先停止CDH集群在各个节点上，停止...
hbase集群同步
由于当前阶段需要对生产集群(cdh5.14,)的hbase数据进行灾备（备份集群cdh6.1），开始调研hbase...
CDH开启HBase Replication
一、环境准备 1、要求两套集群安装相同的CDH版本，如都为CDH4或者CDH5，不限定小版本2、要求两套集群网络互...