hbase存储相关浅析

​Hbase存储相关介绍

Region Server: 不同Region数据互斥（Table+StartKey+Time）；Region数量不能低于集群节点数量

数据的高可用：内存

通过HLog及MemStore实现数据的高可用，具体设计如下：

HLog（WAL：预写日志===binlog，解决高可用、远程备份）：HLog是WAL的实现，HLogKey、HLogSyncer(异步刷日志到H)、HLogRoller（生成新的Hlog、删除多余的Hlog）

MemStore：默认64M，每个列族对应一个Store（含一个MemStore及不定数StoreFile）

不可靠数据的持久化：落盘

通过StoreFile进行数据固化，StoreFile重点涉及Hfile及HBase Compaction的处理；刷磁盘的触发方式包含3种方式。

StoreFile

HFile：存储的最小单元；Data Block存Key-Val（KeyLength、ValueLength、Key、Value），删除是逻辑删除，不会真的删除

HBase Compaction：将小的StoreFile合并成大的StoreFile，包括MinorCompaction、MajorCompaction两类

触发方式

(1) flush操作（整个regin的StoreFile都会执行）;

(2) 手动触发

(3) 后台线程周期检查触发（文件数超过阈值；最早更新时间是否超出某个值

设置hbase.hregion.majorcompaction及hbase.hregion.majorcompaction.jitter，在指定闭区别）

【hbase.hregion.majorcompaction-hbase.hregion.majorcompaction*hbase.hregion.majorcompaction.jitter，hbase.hregion.majorcompaction+hbase.hregion.majorcompaction*hbase.hregion.majorcompaction.jitter】

分类

(1) MinorCompaction：耗时相对较短，小的相邻的StoreFile合并

(2) MajorCompaction：耗时长，合并成一个StoreFile，会删除三类数据：ttl过期数据、版本号超过设定的版本数的数据（设置了version数的前提下）、被删除的数据（自动触发的配置在生产环境经常被禁掉，改手动操作--触发的是MajorCompaction）

数据存储过程

数据查询过程

Hbase的具体操作

前置

namespace对应mysql的db

创建带namespace（ns1）的表（t1）

create 'ns1:t1', {NAME => 'f1', VERSIONS => 5}

创建使用默认namespace的多个列族的表（f1、f2、f3）

create 't1', {NAME => 'f1'}, {NAME => 'f2'}, {NAME => 'f3'}    等价于    create 't1', 'f1', 'f2', 'f3'

创建带配置的表

create 't1', {NAME => 'f1', VERSIONS => 1, TTL => 2592000, BLOCKCACHE => true}

create 't1', {NAME => 'f1', CONFIGURATION => {'hbase.hstore.blockingStoreFiles' => '10'}}

带拆分信息的表

hbase> create 'ns1:t1', 'f1', SPLITS => ['10', '20', '30', '40']

hbase> create 't1', 'f1', SPLITS => ['10', '20', '30', '40']

hbase> create 't1', 'f1', SPLITS_FILE => 'splits.txt', OWNER => 'johndoe'

hbase> create 't1', {NAME => 'f1', VERSIONS => 5}, METADATA => { 'mkey' => 'myvalue' }

hbase> # Optionally pre-split the table into NUMREGIONS, using

hbase> # SPLITALGO ("HexStringSplit", "UniformSplit" or classname)

hbase> create 't1', 'f1', {NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'}

hbase> create 't1', 'f1', {NUMREGIONS => 15, SPLITALGO => 'HexStringSplit', REGION_REPLICATION => 2, CONFIGURATION => {'hbase.hregion.scan.loadColumnFamiliesOnDemand' => 'true'}}

hbase> create 't1', {NAME => 'f1', DFS_REPLICATION => 1}

Hbase的表结构

Table= RowKey + Family + Column + Timestamp + Value（ RowKey + Family + Column + Timestamp） →  Value

Row Key

Row key行键可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，row key保存为字节数组。

列族 (column family)

hbase表中的每个列都归属于某个列族。列族是表的chema的一部分(列不是)；

列族必须在使用表之前定义；

列名都以列族作为前缀（例如courses:history ， courses:math 都属于 courses 这个列族）

时间戳

HBase中通过row和columns确定的cell为存储单元；

每个 cell都保存着同一份数据的多个版本，版本通过时间戳来索引；

时间戳的类型是 64位整型：可以由hbase(在数据写入时自动 )赋值（精确到毫秒的当前系统时间）；时间戳也可以由客户显式赋值

每个 cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。

为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，hbase提供两种数据版本回收方式：保存数据的最后n个版本；保存最近一段时间内的版本（比如最近七天）。用户可以针对每个列族进行设置。

对Hbase而言，表结构设计会对系统的性能以及开销上造成很大的区别;

Rowke排序+Column排序进行存储

hbase shell操作

数据存表中

put ‘t1’ ，‘col_f’, 'val-取值'

查看表中所有数据

scan ‘表名’

查询表中一行数据

get '表名', 'rowkey'

查询表中一行的指定列

get 'table name', ‘rowid’, {COLUMN => ‘column family:column name ’}

删除一行中所有cell

deleteall ‘<table name>’, ‘<row>’

使用 delete 命令，可以在一个表中删除特定cell

delete ‘’, ‘’, ‘’, ‘’

手工合并hfile

compact 't1'

查看表结构

describe 't1' / desc  't1'

修改表结构（修改表结构必须先disable）

alter 't1', {NAME => 'f1'}, {NAME => 'f2', METHOD => 'delete'}

disable 'test1'

alter 'test1',{NAME=>'body',TTL=>'15552000'},{NAME=>'meta', TTL=>'15552000'}

enable 'test1'

分配权限

语法 grant <user> <permissions> <table> <column family> <column qualifier> 参数后面用逗号分隔

权限用五个字母表示："RWXCA".其中分别表示READ('R'), WRITE('W'), EXEC('X'), CREATE('C'), ADMIN('A')例如，给用户‘test'分配对表t1有读写的权限，hbase(main)> grant 'test','RW','t1'

查看权限

语法：user_permission <table>

# 例如，查看表t1的权限列表hbase(main)> user_permission 't1'

收回权限

与分配权限类似，

语法：revoke <user> <table> <column family> <column qualifier>

# 例如，收回test用户在表t1上的权限revoke 'test','t1'

Region管理

1）移动region

语法：move 'encodeRegionName', 'ServerName'

encodeRegionName指的regioName后面的编码，ServerName指的是master-status的Region Servers列表

示例

hbase(main)>move'4343995a58be8e5bbc739af1e91cd72d','db-41.xxx.xxx.org,60020,1390274516739'

2）开启/关闭region

语法：balance_switch true|false

hbase(main)>balance_switch

3）手动split

 语法：split 'regionName', 'splitKey'

4）手动触发major compaction

Compact all regions in a table:

#hbase> major_compact't1'

Compact an entire region:

#hbase> major_compact'r1'

Compact a single column family within a region:

#hbase> major_compact'r1','c1'

Compact a single column family within a table:

#hbase> major_compact't1','c1'

配置管理及节点重启

1）修改hdfs配置

hdfs配置位置：/etc/hadoop/conf，同步hdfs配置

cat/home/hadoop/slaves|xargs -i -t scp /etc/hadoop/conf/hdfs-site.xml hadoop@{}:/etc/hadoop/conf/hdfs-site.xml

#关闭：

cat/home/hadoop/slaves|xargs -i -t ssh hadoop@{} "sudo /home/hadoop/cdh4/hadoop-2.0.0-cdh4.2.1/sbin/hadoop-daemon.sh --config /etc/hadoop/conf stop datanode"

#启动：

cat/home/hadoop/slaves|xargs -i -t ssh hadoop@{} "sudo /home/hadoop/cdh4/hadoop-2.0.0-cdh4.2.1/sbin/hadoop-daemon.sh --config /etc/hadoop/conf start datanode"

2）修改hbase配置

同步hbase配置

cat/home/hadoop/hbase/conf/regionservers|xargs -i -t scp /home/hadoop/hbase/conf/hbase-site.xml hadoop@{}:/home/hadoop/hbase/conf/hbase-site.xml

# graceful重启

cd~/hbase

bin/graceful_stop.sh--restart --reload --debug inspurXXX.xxx.xxx.org