写在前面：
因工作需求配置了一套zookeeper、hbase、hadoop、Phoenix的环境，需要对Hbase数据进行一系列的操作，才有了此文章的产生，写的不好，请大家多多指教！！！！！
1、看
看什么呢？看Hadoop下yarn-site.xml文件中有没有配置以下信息：
<property>
<name>yarn.resourcemanager.address</name>
<value>bogon:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>bogon:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>bogon:8031</value>
</property>
如果没有配置，请务必加上去，不然会报：一直在等待链接的异常消息。注意：bogon这个为本机的电脑名称。
异常信息：
RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
14/08/21 10:41:20 INFO ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is
2、看
看datanode 和namenode/current 文件夹下VERSION中clusterID是否一致，如果不一致，务必要改成一致的，不然会出现以下异常。
could only be replicated to 0 nodes instead of minReplication (=1)
3、执行
执行导出操作的命令：
hbase org.apache.hadoop.hbase.mapreduce.Export PERSON /opt/hbase-data-back/test_table_back
导出代码解释：
hbase org.apache.hadoop.hbase.mapreduce.Export 导出方法
PERSON 表名 可根据实际情况进行修改
/opt/hbase-data-back/test_table_back 导出文件存放的路径 可根据实际情况进行修改
4、备份（复制）
将hdfs中的/opt/hbase-data-back/test_table_back，复制到系统的/opt/hbase-data-back/test_table_back中
例如：
hadoop fs -get /opt/hbase-data-back/test_table_back /opt/hbase-data-back/test_table_back
5、上传（HDFS）
hadoop fs -put localFile hdfsFile 通过put命令将本地文件上传到hdfs中去
例如：
hadoop fs -put /opt/hbase-data-back/test_table_back /opt/hbase-data-back/test_table_back2
6、查看文件夹下的内容
hadoop fs -ls 文件地址
看看是否上传上去，检查上传命令是否执行成功
7、导入的准备工作
1）、创建一个与导入数据格式相同的表
8、
命令：hbase org.apache.hadoop.hbase.mapreduce.Import SPERSON /opt/hbase-data-back/test_table_back
命令解析：
hbase org.apache.hadoop.hbase.mapreduce.Import 导出方法
SPERSON 表名 可根据实际情况修改
/opt/hbase-data-back/test_table_back 导出文件存放的路径 可根据实际情况进行修改
9、查看表中的内容
scan ‘SPERSON’ 看数据是否丢失
10、 大数据量导出
解决方法：修改mapred-site.xml中的配置，设置map和reduce任务的内存配置如下：(value中实际配置的内存需要根据自己机器内存大小及应用情况进行修改)
<property>
<name>mapreduce.map.memory.mb</name>
<value>1536</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx1024M</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>3072</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx2560M</value>
</property>
网友评论