本文作者：林伟兵，叩丁狼高级讲师。原创文章，转载请注明出处。
1. HBase概述
自1970年以来，RDBMS是数据存储和维护相关问题的解决方案。大数据出现后，公司意识到处理大数据的好处，并开始选择Hadoop等解决方案。其使用分布式文件系统来存储大数据，而MapReduce来处理它。Hadoop擅长存储和处理各种格式的巨大数据，如任意，半或甚至非结构化。
Hadoop只能执行批处理，而数据只能按顺序访问。这意味着即使是最简单的工作，也必须搜索整个数据集。一个巨大的数据集在处理时会产生另一个巨大的数据集，这也应该按顺序处理。此时，需要一种新的解决方案来访问单个时间单元（随机访问）中的任意数据点。HBase应运而生.
HBase是一个建立在Hadoop文件系统之上的分布式专栏数据库。它是一个开源项目，可以横向扩展。HBase是一个数据模型，类似于Google的大表，旨在提供对大量结构化数据的快速随机访问。它利用了Hadoop文件系统（HDFS）提供的容错功能。
它是Hadoop生态系统的一部分，它提供对Hadoop文件系统中数据的随机实时读/写访问。可以直接或通过HBase将数据存储在HDFS中。数据使用者使用HBase随机读取/访问HDFS中的数据。HBase位于Hadoop文件系统之上，提供读写访问。在HBase中：
- 表是行的集合。
- 行是列家族的集合。
- 列家族是列的集合。
- 列是键值对的集合。
以下图像显示了面向列的数据库：
叩丁狼教育.png
Row Key
与nosql数据库们一样,row key是用来检索记录的主键。访问HBase table中的行，只有三种方式：
- 通过单个row key访问
- 通过row key的range
- 全表扫描
Row key行键可以是任意字符串，在HBase内部row key保存为 byte[ ]，并对表中的数据按照字典顺序进行排序。
列簇
HBase表中的每个列，都归属于某个列族。列族是表的schema的一部分，必须在使用表之前定义。列名的表示需要将列族作为前缀。例如courses:history ， courses:math。其都属于 courses 这个列族。访问控制、磁盘和内存的使用统计都是在列族层面进行的。
Cell
HBase中通过row key和columns确定的为一个存贮单元称为cell。由 {row key, column( = + ), version} 唯一确定的单元。cell中的数据是没有类型的，全部是byte[ ] 形式存贮。
时间戳
每个 cell都保存着同一份数据的多个版本。版本通过时间戳来索引。
时间戳的类型是 64位整型。时间戳由HBase(在数据写入时自动 )赋值，此时时间戳是精确到毫秒的当前系统时间。
时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个
cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。
为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，HBase提供了两种数据版本回收方式，用户可以
针对每个列族进行设置：
- 保存数据的最后n个版本(max Version)
- 保存最近一段时间内的版本（设置数据的生命周期TTL，类似Session）。
2. HBase集群
叩丁狼教育.png
Region
在HBase表中，按row key的范围进行划分，形成一个个的Region并进行存储。Region是HBase表切割的最小单元。Region实际上存储在RegionServer中。
RegionServer
管理Region节点，一个RegionServer可以管理大约1000个Region节点。RegionServer 跑在HDFS的DataNode上，一般RegionServer 与DataNode的个数是一比一的关系。
HMaster
启动时分配Region到RegionServer上；负载之后重新分配Region到RegionServer上。监控RS的状态，以便决定是否往RS上存储数据。HMaster会配置HA，并且负责执行DDL操作（表的处理）。
Zookeeper
协处理器，负责HMaster的HA切换通知，负责HMaster与RegionServer的心跳机制。
Client
包含了HBase的操作接口，并维护cache（如region的位置信息）来加快对Habse的访问。
3. HBase集群搭建
预先部署并启动Zookeeper集群。
-
上传安装包到linux中。
-
解压zookeeper并删除压缩包。（-C 输出到指定目录）
tar -zxvf zookeeper-3.4.5.tar.gz -C apps/ rm -f zookeeper-3.4.5.tar.gz -
删除没用到的源代码，剩下如下目录：
[root@mini3 ~]# cd /root/apps/zookeeper-3.4.5/
[root@mini3 zookeeper-3.4.5]# ll
total 1300
drwxr-xr-x. 2 root root 4096 May 9 23:36 bin
drwxr-xr-x. 2 root root 4096 May 9 23:25 conf
drwxr-xr-x. 4 root root 4096 May 9 23:21 lib
-rw-r--r--. 1 root root 1315806 May 9 23:21 zookeeper-3.4.5.jar
bin : 执行服务端/客户端的命令工具
conf:配置文件，修改zoom_sample.cfg===>zoo.cfg
lib:到时候写java代码会用到
zookeeper-3.4.5.jar： 核心开发包。
-
打开zoo.cfg：
# ZK中的一个时间单元。ZK中所有时间都是以这个时间单元为基础，进行整数倍配置的。 tickTime=2000 # Follower在启动过程中，会从Leader同步所有最新数据，然后确定自己能够对外服务的起始状态。 Leader允许F在initLimit时间内完成这个工作。通常情况下，我们不用太在意这个参数的设置。如果ZK 集群的数据量确实很大了，F在启动的时候，从Leader上同步数据的时间也会相应变长，因此在这种情况 下，有必要适当调大这个参数了。 initLimit=10 # 在运行过程中，Leader负责与ZK集群中所有机器进行通信，例如通过一些心跳检测机制，来检测机器的 存活状态。如果L发出心跳包在syncLimit之后，还没有从F那里收到响应，那么就认为这个F已经不在线 了。 syncLimit=5 # ZK集群内部的数据一般存储在内存中，而该目录是存储内存快照的目录。默认情况下，事务日志也会存储 在这里。 dataDir=/root/zkdata # 连接ZK客户端的端口号 clientPort=2181 # 给集群的机器配置编号 1 2 3 (当然这里可以随便写数字) 它映射到/root/zkdata/myid文件 # 2888端口号是领导者用来监听跟随者连接。 3888端口是用来在选举领导者阶段, 用来监听其他服务器 的连接. server.1=hdp01:2888:3888 server.2=hdp02:2888:3888 server.3=hdp03:2888:3888 -
通过scp命令将软件发给另外两台虚拟机。
scp -r sourcePath destPath -
为每个虚拟机环境添加/root/zkdata文件夹。并在文件夹内使用命令：
echo 编号 > myid -
在多个客户端中启动zookeeper
# 启动zkServer [root@mini3 bin]# /root/apps/zookeeper/bin/zkServer.sh start Starting zookeeper ... STARTED #jps 查看java进程 QuorumPeerMain 是代表zkServer的进程 [root@mini3 bin]# jps 1896 QuorumPeerMain 1913 Jps -
服务的信息保存在当前文件夹中的zookeeper.out文件中。在zk集群内部有2种角色follower和leader
[root@mini3 bin]# /root/apps/zookeeper/bin/zkServer.sh status Mode: follower -
上传hbase安装包并解压。
-
配置HBase集群，首先将Hadoop中的hdfs-site.xml和core-site.xml 放到 hbase/conf 下。
-
修改hbase-env.sh文件：
export JAVA_HOME=/root/apps/jdk1.7.0_55 ##告诉HBase使用外部的zk export HBase_MANAGES_ZK=false -
修改 hbase-site.xml文件：
<configuration> <!-- 指定HBase在HDFS上存储的路径 --> <property> <name>hbase.rootdir</name> <!-- 这里不要写错，否则无法启动HMaster--> <value>hdfs://hdp01:9000/hbase</value> </property> <!-- 指定HBase是分布式的 --> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <!-- 指定zk的地址，多个用“,”分割 --> <property> <name>hbase.zookeeper.quorum</name> <value>hdp01:2181,hdp02:2181,hdp03:2181</value> </property> </configuration> -
修改 regionservers
hdp01 hdp02 hdp03 -
创建 backup-masters 来指定备用的主节点，实现HA模式，默认情况下，启动机制在哪台机器上运行，主节
点在哪台机器；当主节点宕机后，备用节点就会自动切换成主节点，且主要备用主节点不宕机，一直会存活
下去。vi backup-masters hdp02 -
拷贝 HBase文件夹到其他机器上
-
启动集群(如果发现Hregion无法正常启动，是因为集群中的机器时间不同步，可以通过date -s 00:00:00 重
置时间)：##在所有机器上启动zk集群 ./zkServer.sh start ##在hdp01上启动Hadoop集群 start-all.sh ##在hdp01上启动HBase，在主节点上运行： ./start-hbase.sh -
使用netstat -nltp 查看当前是否存在16010的端口正在运行。启动网站 http://hdp01:16010
想获取更多技术干货，请前往叩丁狼官网：http://www.wolfcode.cn/all_article.html
网友评论