由于集群故障，连接不上hdfs，datanode节点部分挂，重新启动单个节点和namenode也不好使，给出方法格式化namenode，之后启动namenode和datanode，但是由于hdfs中有数据，格式化前没有备份数据，导致了数据块全部丢失，至此，整个集群中表数据都没有了，悲剧的开始。
为了处理这个问题，评估了事件，由于元数据存储在mysql中，所以表还在，只是hdfs表数据存储在hdfs中的路径和文件没有了。
1.业务数据补充
hive库的访问通过etl工具，所以业务数据的补充，直接通过etl工具。
由于hdfs文件目录被删除，所以第一步，建立目录：
hadoop fs -mkdir /user/hive/warehouse/hive_test_table
删分区，建立分区:
hive -e "alter table hive_test_table drop partition (op_month=201702,op_time= 20170215,op_hour=2017021514);"
hive -e "alter table hive_test_table add partition (op_month=201702,op_time= 20170215,op_hour=2017021514);"
把etl生成的文件put到hdfs文件目录：
hdfs dfs -put /test/hive_test_table.txt /user/hive/warehouse/hive_test_table/op_month=201702/op_time=20170215/op_hour=2017021514
把表数据添加到其他表：
INSERT INTO hive_test PARTITION (op_month=201702,op_time=20170215,op_hour=2017021514)
SELECT CUST_ID,USER_ID,ACCT_ID from hive_test_table where op_month='201702' AND op_time= '20170215' AND op_hour='2017021514';
2.维度表数据导入
查询维度表的表结构：
hive -e "desc formatted bts_type;"
显示：
分割符所以在生成导入文件的时候需要按照；分割，生成文件bts_type.txt
对bts_type.txt转码：
iconv -f GBK -t UTF-8 bts_type.txt -o bts_type.txt
建立文件目录：
hadoop fs -mkdir /user/hive/warehouse/bts_type
put文件到hdfs指定路径下：
hdfs dfs -put /test/bts_type.txt /user/hive/warehouse/bts_type/bts_type.txt
由于集群中hdfs数据块都被删除了，维度表数据手动导入，业务数据表数据可以通过etl工具导入，为了避免类似问题发生，对集群数据的备份，和集群监控还需要完善现有的维护方案。
1. 采用svn管理备份元数据与维度表数据文件
2. 集群中获取zookeeper中namenode的状态，并监控namenode，datanode，zookeeper存活节点，出问题立刻发短信告警
3. 在生产选取一台主机备份维表数据和元数据， 并写批量脚步，如果以后发生类似事情，直接跑脚步，来修复
网友评论