HBase学习笔记

作者: 卡卡xx | 来源:发表于2018-08-22 20:11 被阅读0次

在对HBase进行操作之前，首先学习一下HBase的基础架构和运行原理。这里讲解了

HBase 在大数据生态圈中的位置
HBase 与传统关系数据库的区别
HBase 相关的模块以及 HBase 表格的特性
row-key,hfile,cloumn-family,Master,Region Server相关概念
zookeeper在其中的作用
HBase存数据的原理
row-key设计方案

1、Row Key
与nosql数据库们一样,row key是用来检索记录的主键。访问hbase table中的行，只有三种方式：

通过单个row key访问
通过row key的range
全表扫描

Row key行键 (Row key)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，row key保存为字节数组。
存储时，数据按照Row key的字典序(byte order)排序存储。设计key时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)

字典序对int排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序，行键必须用0作左填充。
行的一次读写是原子操作 (不论一次读写多少列)。这个设计决策能够使用户很容易的理解程序在对同一个行进行并发更新操作时的行为。

2、列族 column family
hbase表中的每个列，都归属与某个列族。列族是表的chema的一部分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如courses:history，courses:math都属于courses这个列族。
访问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应用中，列族上的控制权限能帮助我们管理不同类型的应用：我们允许一些应用可以添加新的基本数据、一些应用可以读取基本数据并创建继承的列族、一些应用则只允许浏览数据（甚至可能因为隐私的原因不能浏览所有数据）。

3、单元 Cell
HBase中通过row和columns确定的为一个存贮单元称为cell。由{row key, column( =<family> + <label>), version} 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。

4、时间戳 timestamp
每个cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由hbase(在数据写入时自动 )赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。

为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，hbase提供了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段时间内的版本（比如最近七天）。用户可以针对每个列族进行设置。

hbase命令

安装HBase

HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。所以安装HBase之前还需要安装zookeeper和hdfs。

如果是Apache hadoop就下载相应文件并修改配置文件安装。我用的是cloudera hadoo就直接在集群管理界面添加服务。

HBase shell命令使用

HBase shell是HBase的一套命令行工具，类似传统数据中的sql概念，可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后，如果配置了HBase的环境变量，只要在shell中执行hbase shell就可以进入命令行界面。需要注意的是HBase的交互界面删除键改为了Ctrl + Backspace组合

用status命令看一下集群是否正常

查看HBase版本

创建数据库（命名空间）
在HBase中，namespace命名空间指对一组表的逻辑分组，类似RDBMS中的database，方便对表在业务上划分。HBase系统默认定义了两个缺省的namespace
1.hbase：系统内建表，包括namespace和meta表
2.default：用户建表时未指定namespace的表都创建在此
使用名list_namespace列出所有的namespace

使用命令create_namespace 'my_test'创建数据库（命名空间）
删除数据库
使用命令drop_namespace 'my_test'创建数据库（命名空间）
创建学生信息表
rowkey要求是学号，一个列簇，包含姓名、性别、年龄、地址。
语法：create ‘<table name>’,’<column family>’通过list命令查看所有表。
删除表
首先使用命令disable '表名'禁用表，禁用表之后，仍然可以通过 list 和exists命令查看到。
然后使用命令drop '表名'删除表
插入记录
命令put 'student','2016211883','info:name','stu1'表示插入表名为student，rowkey为2016211880（没有则创建）的行，列簇info下面的列name的值为stu1.
按照此格式依次添加10个学生，rowkey依次为2016211880-2016211889，并同时添加姓名、性别、年龄、地址。
删除记录
删除某个属性的记录delete ‘<table name>’, ‘<row>’, ‘<column name >’, ‘<time stamp>’
删除行deleteall 'table_name','row'
修改记录
命令put ‘table name’,’row ’,'Column family:column name',’new value’
将rowkey为2016211880的info簇的name属性修改为stu1
查询记录
使用命令get 'student','2016211883'查看是否成功插入记录。
其中第一个字段填写查询记录的表，第二字段填写记录的rowkey

也可以使用命令get 'student','2016211883','info'获取指定rowkey和列簇的信息
扫描
scan 命令用于查看HTable数据。使用 scan 命令可以得到表中的数据。它的语法如下：
scan ‘<table name>’
统计表的行数
count 'table_name'
清空表
truncate 'table_name'

Python对HBase的操作

启动thrift

thrift是用于可伸缩的跨语言服务开发框架。
首先需要安装thrift，而安装thrift之前还需要安装thrift的很多依赖，详见这里。
但是很多情况下已经帮你安装好了thrift（可能是安装操作系统或者安装hadoop的时候），所以你只需要去开启就是了，不能开启再去安装。

第一次开启报了个这个错，原因是JAVA_HOME没有配置或者低于1.7，所以去/etc/profile或者hbase的conf下hbase-env.sh加上JAVA_HOME就可以了。

就成功启动了thrift。

编写python程序

这里需要用pip导入需要的包

pip install thrift
pip install hbase-thrift

编写好后运行说语法错误，但是自己的语法并没有错，跟着错误点进了hbase包的源码，发现是python2版本的语法，在网上搜了一下，说是把hbase里的Hbase.py和ttypes.py换成python3的即可，于是去python存放第三方包的地方换了，随后就可以了。

from thrift.transport import TSocket,TTransport
from thrift.protocol import TBinaryProtocol
from hbase import Hbase

# thrift默认端口是9090
socket = TSocket.TSocket('192.168.233.100',9090)
socket.setTimeout(5000)

transport = TTransport.TBufferedTransport(socket)
protocol = TBinaryProtocol.TBinaryProtocol(transport)

client = Hbase.Client(protocol)
socket.open()

print(client.getTableNames())
print(client.get('student','2016211880','info:name'))

其他的操作和HBase shell差不多，只要拿到了client = Hbase.Client(protocol)中的client，其它的操作只是换成了函数调用形式而已。

获取所有表
getTableNames()可以获取所有表
创建表
createTable(tbaleName,columnFamilies)：创建表，无返回值
tableName：表名
columnFamilies：列族信息，为一个ColumnDescriptor列表

column = ColumnDescriptor(name='row1')
client.createTable('tb1',[column])

这里需要注意，不能直接像HBase shell一样传入字符串作为列簇，而是要先用函数ColumnDescriptor（需要导入from hbase.ttypes import ColumnDescriptor）生成列簇对象，然后作为参数传入进去。

删除表
disableTable(tbaleName)首先禁用表
deleteTable(tbaleName)删除指定表

print('before',client.getTableNames())
client.disableTable('tb1')
client.deleteTable('tb1')
print('after',client.getTableNames())

插入记录
mutateRow(tableName,row,mutations)：在表中指定行执行一系列的变化操作。如果抛出异常，则事务被中止。使用默认的当前时间戳，所有条目将具有相同的时间戳。无返回值
tableName：表名
row：行
mutations：变化,list

print('before',client.get('student','2016000','info:name'))
mutation = Mutation(column='info:name',value='inset_name') 这里需要注意，以前的参数是name和value，现在改为了column和value
client.mutateRow('student','2016000',[mutation])
print('after',client.get('student','2016000','info:name'))

先把需要插入的列簇信息封装为Mutation对象（需要导入from hbase.ttypes import Mutation），再插入表student，2016000行。

修改记录
修改记录和刚刚上面的插入记录一样，只是把需要修改的信息封装在Mutation即可。

print('before',client.get('student','2016000','info:name'))
mutation = Mutation(column='info:name',value='update_name')
client.mutateRow('student','2016000',[mutation])
print('after',client.get('student','2016000','info:name'))

查询记录
getRow(tableName,row)：获取表中指定行在最新时间戳上的数据。返回一个hbase.ttypes.TRowResult对象列表，如果行号不存在返回一个空列表
tableName：表名
row：行
print(client.getRow('student','2016211880'))
[TRowResult(row='2016211880', columns={'info:add': TCell(value='xxx', timestamp=1534856603503), 'info:age': TCell(value='20', timestamp=1534856521857), 'info:gender': TCell(value='m', timestamp=1534856178334), 'info:name': TCell(value='stu0', timestamp=1534860070457)})]
这样可以获取一个列的所有信息，也可以获取指定信息。
print(client.get('student','2016211880','info:name'))
[TCell(value='stu0', timestamp=1534860070457)]
还可以获取所有信息后一个一个取出来

# 行
row = '2016211880'
# 查询结果
result = client.getRow('student',row)      # result为一个列表
for item in result:                     # item为hbase.ttypes.TRowResult对象
    print(item.row)
    print(item.columns.get('info:name').value )       # 获取值。item.columns.get('cf:a')为一个hbase.ttypes.TCell对象
    print(item.columns.get('info:name').timestamp )   # 获取时间戳。item.columns.get('cf:a')为一个hbase.ttypes.TCell对象

扫描
scannerOpen(tableName,startRow,columns)：在指定表中，从指定行开始扫描，到表中最后一行结束，扫描指定列的数据。返回一个ScannerID，int类型
tableName：表名
startRow：起始行
columns：列名列表,list类型
scannerId = client.scannerOpen('student','2016211880',["info:name","info:age"])
获取ScannerID后，根据ScannerID来获取结果，scannerGet(id)：返回一个hbase.ttypes.TRowResult对象列表

scannerId = client.scannerOpen('student','2016211880',["info:name","info:age"])
while True:
    result = client.scannerGet(scannerId)
    if not result:
        break
    print(result)

结果

[TRowResult(row='2016211880', columns={'info:age': TCell(value='20', timestamp=1534856521857), 'info:name': TCell(value='stu0', timestamp=1534860070457)})]
[TRowResult(row='2016211881', columns={'info:age': TCell(value='18', timestamp=1534856521887), 'info:name': TCell(value='stu1', timestamp=1534855473518)})]
[TRowResult(row='2016211882', columns={'info:age': TCell(value='18', timestamp=1534856521912), 'info:name': TCell(value='stu2', timestamp=1534855311597)})]
[TRowResult(row='2016211883', columns={'info:age': TCell(value='18', timestamp=1534856521940), 'info:name': TCell(value='stu3', timestamp=1534855469567)})]
[TRowResult(row='2016211884', columns={'info:age': TCell(value='18', timestamp=1534856521969), 'info:name': TCell(value='stu4', timestamp=1534855469670)})]
[TRowResult(row='2016211885', columns={'info:age': TCell(value='18', timestamp=1534856521993), 'info:name': TCell(value='stu5', timestamp=1534855469700)})]
[TRowResult(row='2016211886', columns={'info:age': TCell(value='19', timestamp=1534856522018), 'info:name': TCell(value='stu6', timestamp=1534855469732)})]
[TRowResult(row='2016211887', columns={'info:age': TCell(value='21', timestamp=1534856522042), 'info:name': TCell(value='stu7', timestamp=1534855469761)})]
[TRowResult(row='2016211888', columns={'info:age': TCell(value='22', timestamp=1534856522191), 'info:name': TCell(value='stu8', timestamp=1534855469791)})]
[TRowResult(row='2016211889', columns={'info:age': TCell(value='21', timestamp=1534856523296), 'info:name': TCell(value='stu9', timestamp=1534855469828)})]

其它的操作都和shell差不多，只是换成了函数形式，使用时可以查阅API文档。

HBase预分区

HBase中，表会被划分为1…n个Region，被托管在RegionServer中。Region二个重要的属性:StartKey与 EndKey表示这个Region维护的rowKey范围，当我们要读/写数据时，如果rowKey落在某个start-end key范围内，那么就会定位到目标region并且读/写到相关的数据。
HBase默认建表时有一个region，这个region的rowkey是没有边界的，即没有startkey和endkey，在数据写入时，所有数据都会写入这个默认的region，随着数据量的不断增加，此region已经不能承受不断增长的数据量，会进行split，分成2个region。在此过程中，会产生两个问题：1.数据往一个region上写,会有写热点问题。2.region split会消耗宝贵的集群I/O资源。基于此我们可以控制在建表的时候，创建多个空region，并确定每个region的起始和终止rowky，这样只要我们的rowkey设计能均匀的命中各个region，就不会存在写热点问题。自然split的几率也会大大降低。当然随着数据量的不断增长，该split的还是要进行split。像这样预先创建hbase表分区的方式，称之为预分区。

预分区步骤

规划hbase预分区
首先就是要想明白数据的key是如何分布的，然后规划一下要分成多少region，每个region的startkey和endkey是多少，然后将规划的key写到一个文件中。比如，key的前几位字符串都是从2016211880~2016211889的数字，这样可以分成4个region，划分key的文件如下：

#只是在分区比较多的时候需要这么做。分区少的情况下可以直接在生成表的时候直接用SPLITS分区
2016211882|
2016211884|
2016211886|
2016211888|

因为在ASCII码中，"|"的值是124，大于所有的数字和字母等符号，当然也可以用“~”（ASCII-126）。分隔文件的第一行为第一个region的stopkey，每行依次类推，最后一行不仅是倒数第二个region的stopkey，同时也是最后一个region的startkey。也就是说分区文件中填的都是key取值范围的分隔点。

HBase中建分区表，指定分区文件
和以前创建普通表一样，只是创建的时候多了一个参数，指明了分区的信息。
create 'sort_table','info',SPLITS=>['2016211882','2016211884','2016211886','2016211888']
这里的分区表示方法也可以换成文件替代。
create 'split_table_test', 'cf', {SPLITS_FILE => 'region_split_info.txt'}
去主节点60010端口下查看分区成功。

接着插入一条数据试一试
put 'sort_table','2016211885','info:add','xxx'

数据插入到了指定的分区当中。

HBase学习笔记

安装HBase

HBase shell命令使用

Python对HBase的操作

启动thrift

编写python程序

HBase预分区

预分区步骤

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读