火山日常啰嗦
运行hbase java客户端程序,运行后就一直卡着,经过很长一段时间后就报错了,那时候有点懵,不过幸好后来解决了。
问题描述:
Hbase Java客户端连接Hbase运行后长时间卡住,没有其他任何的提示了?到底是出了什么问题了呢?
代码如下:
package mapreduceHbase;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.Delete;
import org.apache.hadoop.hbase.client.Get;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.ResultScanner;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.util.Bytes;
public class HbaseClient2 {
public static void Hput(HTable table , String rowKey) throws IOException {
Put put = new Put(Bytes.toBytes(rowKey));
put.add(Bytes.toBytes("f1"), Bytes.toBytes("name"), Bytes.toBytes("a"));
put.add(Bytes.toBytes("f1"), Bytes.toBytes("age"), Bytes.toBytes("21"));
table.put(put);
}
public static void Hget(HTable table , String rowKey) throws IOException {
Get get = new Get(Bytes.toBytes(rowKey));
//取出该rowkey对应的所有列
Result result = table.get(get);
System.out.println("结果:"+result.toString());
//通过addColumn(family, qualifier)方法指定只选出该rowkey对应的具体哪一列,如果想具体选出若干列,
//只需要多次调用addColumn(family, qualifier)方法即可
Get get1=get.addColumn(Bytes.toBytes("f1"), Bytes.toBytes("name"));
Result result1 = table.get(get1);
System.out.println("结果:"+result1.toString());
}
public static void Hdelete(HTable table, String rowKey) throws IOException {
Delete delete = new Delete(Bytes.toBytes(rowKey));
//这样是指定删除哪一列且删除的是最新版本的值
//table.delete(delete);//这样就是删除该rowkey对应的整行
table.delete(delete.addColumn(Bytes.toBytes("f1"), Bytes.toBytes("name")));
}
public static void Hscan(HTable table) throws IOException {
Scan scan = new Scan();
ResultScanner scanner = table.getScanner(scan);
for(Result result : scanner) {
for(KeyValue kv : result.raw()) {
System.out.println("结果:"+ new String(kv.getRow())+" "+new String(kv.getFamily())+":"+new String(kv.getQualifier())+"=>"+new String(kv.getValue()));
}
}
scanner.close();
}
public static void writeToNextTable(HTable table1,HTable table2) throws IOException {
Scan scan = new Scan();
ResultScanner scanner = table1.getScanner(scan);
List<Put> list = new ArrayList<Put>();
for(Result result : scanner) {
list.clear();
for(KeyValue kv : result.raw()) {
Put put = new Put(kv.getRow());
put.add(kv.getFamily(), kv.getQualifier(), kv.getValue());
list.add(put);
}
table2.put(list);
}
scanner.close();
}
public static void main(String[] args) {
try {
Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", "volcano01.cc.com,volcano02.cc.com,volcano03.cc.com");
HTable table = new HTable(conf, Bytes.toBytes("t1"));
HTable new_table = new HTable(conf, Bytes.toBytes("new_t12"));
Hput(table,"3");
Hget(table,"20180611");
Hdelete(table,"20180611");
Hscan(table);
System.out.println("结束了");
writeToNextTable(table, new_table);
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
运行图如下:
clipboard.png
原因:
之所以运行后一直卡在这里不动,是因为客户端无法定位集群,导致无法连接上,所以会不断在尝试重新连接,所以我们看到的就是页面卡住不动了。既然客户端都没连接上服务器,那又谈何后续的运行操作呢。
查看log日志,你就可以发现客户端确实是在不断尝试重连,当达到最大重连次数后就会报错结束了,客户端的运行才会结束,当然你也可以手动结束它。
解决办法:
上面说到,连接不上是因为无法定位集群,而hbase集群是由zookeeper管理的,所以,我们必须在代码中设置:
conf.set("hbase.zookeeper.quorum","volcano01.cc.com,volcano02.cc.com,volcano03.cc.com");
代码中为配置对象 configuration添加了这一个设置项后,才能定位服务器,才能正确连接上服务器。
网友评论