美文网首页大数据生态圈我爱编程
Hbase集群搭建最常见的问题及解决办法

Hbase集群搭建最常见的问题及解决办法

作者: z小赵 | 来源:发表于2017-09-29 23:27 被阅读127次

    问题一:使用自己搭建的zookeeper集群而不使用hbase自带的zookeeper解决办法?

    首先:在hbase-env.sh中修改如下参数:

    屏蔽hbase自带的zookeeper

    问题二:通过start-abase.sh启动hbase集群发现从节点报如下错误:

    30 14:02:05,999 FATAL [regionserver60020] regionserver.HRegionServer: Master rejected startup because clock is out of sync

    org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server heres01,60020,1493532120370 has been rejected; Reported time i

    s too far out of sync with master.  Time difference of 2421573ms>max allowed of 30000ms

    at org.apache.hadoop.hbase.master.ServerManager.checkClockSkew(ServerManager.java:314)

    at org.apache.hadoop.hbase.master.ServerManager.regionServerStartup(ServerManager.java:215)

    at org.apache.hadoop.hbase.master.HMaster.regionServerStartup(HMaster.java:1292)

    at org.apache.hadoop.hbase.protobuf.generated.RegionServerStatusProtos$RegionServerStatusService$2.callBlockingMethod(RegionServerStatusProtos.java:5085)

    at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:2185)

    at org.apache.hadoop.hbase.ipc.RpcServer$Handler.run(RpcServer.java:1889)

    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)

    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)

    at java.lang.reflect.Constructor.newInstance(Constructor.java:526)

    at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:106)

    at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:95)

    at org.apache.hadoop.hbase.protobuf.ProtobufUtil.getRemoteException(ProtobufUtil.java:277)

    at org.apache.hadoop.hbase.regionserver.HRegionServer.reportForDuty(HRegionServer.java:1955)

    at org.apache.hadoop.hbase.regionserver.HRegionServer.run(HRegionServer.java:794)

    at java.lang.Thread.run(Thread.java:745)

    Caused by: org.apache.hadoop.hbase.ipc.RemoteWithExtrasException(org.apache.hadoop.hbase.ClockOutOfSyncException): org.apache.hadoop.hbase.ClockOutOfSyncException: Ser

    ver heres01,60020,1493532120370 has been rejected; Reported time is too far out of sync with master.  Time difference of 2421573ms>max allowed of 30000ms

    at org.apache.hadoop.hbase.master.ServerManager.checkClockSkew(ServerManager.java:314)

    at org.apache.hadoop.hbase.master.ServerManager.regionServerStartup(ServerManager.java:215)

    at org.apache.hadoop.hbase.master.HMaster.regionServerStartup(HMaster.java:1292)

    at org.apache.hadoop.hbase.protobuf.generated.RegionServerStatusProtos$RegionServerStatusService$2.callBlockingMethod(RegionServerStatusProtos.java:5085)

    at org.apache.hadoop.hbase.ipc.RpcServer.call(RpcServer.java:2185)

    at org.apache.hadoop.hbase.ipc.RpcServer$Handler.run(RpcServer.java:1889)

    at org.apache.hadoop.hbase.ipc.RpcClient.call(RpcClient.java:1454)

    at org.apache.hadoop.hbase.ipc.RpcClient.callBlockingMethod(RpcClient.java:1658)

    at org.apache.hadoop.hbase.ipc.RpcClient$BlockingRpcChannelImplementation.callBlockingMethod(RpcClient.java:1716)

    at org.apache.hadoop.hbase.protobuf.generated.RegionServerStatusProtos$RegionServerStatusService$BlockingStub.regionServerStartup(RegionServerStatusProtos.java

    :5402)

    at org.apache.hadoop.hbase.regionserver.HRegionServer.reportForDuty(HRegionServer.java:1953)

    ... 2 more

    出现该问题的原因:因为整个集群时间没有统一,导致master连接slave超时,所以导致从节点的HRegionServer进程没有正常启动,

    解决办法:

    1⃣️.在hbase-site.xml文件中 修改增加 ,将时间改大点

    <property>

      <name>hbase.master.maxclockskew</name>

      <value>150000</value>

    </property>


    2⃣️.修改日期

    date -s 11/23/2013

    修改时间

    date -s 15:14:00

    检查硬件(CMOS)时间

    clock -r

    这个修改在系统重启后就失效了,因此为了将这个时间永久生效,需要将修改的时间写入CMOS。

    clock -w


    最后,关闭所有hbase集群的进程,重启启动,需要注意的一点是,在启动hbase集群前,先自己手动启动zookeeper集群

    相关文章

      网友评论

        本文标题:Hbase集群搭建最常见的问题及解决办法

        本文链接:https://www.haomeiwen.com/subject/eqiwextx.html