美文网首页hbase专题
Hbase Java客户端连接Hbase运行后长时间卡住,最后报

Hbase Java客户端连接Hbase运行后长时间卡住,最后报

作者: _火山_ | 来源:发表于2018-09-07 22:27 被阅读0次

    火山日常啰嗦
    运行hbase java客户端程序,运行后就一直卡着,经过很长一段时间后就报错了,那时候有点懵,不过幸好后来解决了。

    问题描述:
    Hbase Java客户端连接Hbase运行后长时间卡住,没有其他任何的提示了?到底是出了什么问题了呢?
    代码如下:

    package mapreduceHbase;
    
    import java.io.IOException;
    import java.util.ArrayList;
    import java.util.List;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.hbase.HBaseConfiguration;
    import org.apache.hadoop.hbase.KeyValue;
    import org.apache.hadoop.hbase.client.Delete;
    import org.apache.hadoop.hbase.client.Get;
    import org.apache.hadoop.hbase.client.HTable;
    import org.apache.hadoop.hbase.client.Put;
    import org.apache.hadoop.hbase.client.Result;
    import org.apache.hadoop.hbase.client.ResultScanner;
    import org.apache.hadoop.hbase.client.Scan;
    import org.apache.hadoop.hbase.util.Bytes;
    
    public class HbaseClient2 {
        
        public static void Hput(HTable table , String rowKey) throws IOException {
            
            Put put = new Put(Bytes.toBytes(rowKey));
            put.add(Bytes.toBytes("f1"), Bytes.toBytes("name"), Bytes.toBytes("a"));
            put.add(Bytes.toBytes("f1"), Bytes.toBytes("age"), Bytes.toBytes("21"));
            table.put(put);
        }
        
        
        public static void Hget(HTable table , String rowKey) throws IOException {
            
            Get get = new Get(Bytes.toBytes(rowKey));
            //取出该rowkey对应的所有列
            Result result = table.get(get);
            System.out.println("结果:"+result.toString());
            
            //通过addColumn(family, qualifier)方法指定只选出该rowkey对应的具体哪一列,如果想具体选出若干列,
            //只需要多次调用addColumn(family, qualifier)方法即可
            Get get1=get.addColumn(Bytes.toBytes("f1"), Bytes.toBytes("name"));
            Result result1 = table.get(get1);
            System.out.println("结果:"+result1.toString());
            
        }   
        
        
        public static void Hdelete(HTable table, String rowKey) throws IOException {
            
            Delete delete = new Delete(Bytes.toBytes(rowKey));
            
            //这样是指定删除哪一列且删除的是最新版本的值
            //table.delete(delete);//这样就是删除该rowkey对应的整行
            table.delete(delete.addColumn(Bytes.toBytes("f1"), Bytes.toBytes("name")));
            
            
            
        }
        
        public static void Hscan(HTable table) throws IOException {
            
            Scan scan = new Scan();
            
            ResultScanner scanner = table.getScanner(scan);
            
            for(Result result : scanner) {
                for(KeyValue kv : result.raw()) {
                    
                    System.out.println("结果:"+ new String(kv.getRow())+" "+new String(kv.getFamily())+":"+new String(kv.getQualifier())+"=>"+new String(kv.getValue()));
                }
            }
            
            scanner.close();
        }
        
    public static void writeToNextTable(HTable table1,HTable table2) throws IOException {
            
            Scan scan = new Scan();
            
            ResultScanner scanner = table1.getScanner(scan);
            
            List<Put> list = new ArrayList<Put>();
            
            for(Result result : scanner) {
                list.clear();
                for(KeyValue kv : result.raw()) {
                    
                    Put put = new Put(kv.getRow());
                    
                    put.add(kv.getFamily(), kv.getQualifier(), kv.getValue());
                    
                    list.add(put);
                }
                
                table2.put(list);
            }
            
            scanner.close();
            
        }
        
        public static void main(String[] args) {
            
            
            try {
                Configuration conf = HBaseConfiguration.create();
                conf.set("hbase.zookeeper.quorum", "volcano01.cc.com,volcano02.cc.com,volcano03.cc.com");
                HTable table = new HTable(conf, Bytes.toBytes("t1"));
                
                HTable new_table = new HTable(conf, Bytes.toBytes("new_t12"));
                Hput(table,"3");    
                Hget(table,"20180611");         
                Hdelete(table,"20180611");          
                Hscan(table);
                System.out.println("结束了");          
                writeToNextTable(table, new_table);
            } catch (IOException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        }
    }
    
    运行图如下: clipboard.png

    原因:
    之所以运行后一直卡在这里不动,是因为客户端无法定位集群,导致无法连接上,所以会不断在尝试重新连接,所以我们看到的就是页面卡住不动了。既然客户端都没连接上服务器,那又谈何后续的运行操作呢。
    查看log日志,你就可以发现客户端确实是在不断尝试重连,当达到最大重连次数后就会报错结束了,客户端的运行才会结束,当然你也可以手动结束它。

    解决办法:
    上面说到,连接不上是因为无法定位集群,而hbase集群是由zookeeper管理的,所以,我们必须在代码中设置:

    conf.set("hbase.zookeeper.quorum","volcano01.cc.com,volcano02.cc.com,volcano03.cc.com");
    

    代码中为配置对象 configuration添加了这一个设置项后,才能定位服务器,才能正确连接上服务器。

    相关文章

      网友评论

        本文标题:Hbase Java客户端连接Hbase运行后长时间卡住,最后报

        本文链接:https://www.haomeiwen.com/subject/fdmhgftx.html