启动集群：
1）启动所有的zookeeper，start-all-zookeeper.sh
2）主节点最好一个进程一个进程启动
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
3）启动master
4）启动regionserver
停止集群：
1）hbase
hbase-daemons.sh stop regionserver
stop-master.sh
2）hdfs
hdfs和hbase尽量不要使用kill命令
尽量使用yarn和Hadoop的标准命令去停集群。
问题：
1、如果是一百个节点的集群如何规划
2、如果是一千个节点的集群如何规划
尽量控制一套NameNode控制的节点数在1000以内。
zookeeper和journalnode不怎么占内存，并且不怎么容易出问题，同一台服务器上部署。
两台服务器部署NameNode和zkfc
两台节点部署resourceManager
五台节点部署zookeeper和journalnode
其他节点作为DataNode
3、如果是一万个节点呢？ 联邦机制：一套NameNode管理一千个节点
-----------------------------------------------------------------------------------------------------------
三、HBase与MapReduce整合
命令：hbase mapredcp 加载MapReduce运行所需依赖包到classpath
export HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`将依赖包添加到环境变量里面
加载数据到hbase目录中
第一步：准备数据文件
第二步：准备一张表
第三步：导入数据
hadoop jar ${HBASE_HOME}/lib/hbase-server-VERSION.jar
importtsv -Dimporttsv.columns=rowkey,列族：列名 目标表 数据
---------------------------------------------------------------------------------------------------
HBase真正存数据的文件HFile
以HFile文件形式存储数据
-Dimporttsv.bulk.output=输出目录
-Dimporttsv.columns=rowkey,columnFamily:column tableName /数据文件
清空表truncate '表名'
加载HFile的数据到表中
-completebulkload HFile文件目录 表名
-------------------------------------------------------------------------------------------------------
四、HBase与Hive整合
用SQL语句操作HBase
第一步：加载hive/lib/hive-hbase-handler*.jar到hbase的lib目录
第二步：hbase/lib目录所有jar包都发到hive的lib目录
第三步：安装mysql并加载驱动包mysql-connector-java*.jar 到hive的lib目录并修改hive-site.xml文件 配置关于mysql的连接信息 Driver，url，username，password
第四步：进入hive客户端命令
第五步：在hive表中创建一张外部表关联hbase
CREATE EXTERNAL TABLE hbase_table_1(key int, value string)---这里要与hbase表字段的行健和列名对应
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")--这里指定hbase表的字段
TBLPROPERTIES ("hbase.table.name" = "xyz", "hbase.mapred.output.outputtable" = "xyz");---这里指定hbase表名
--------------------------------------------------------------------------------------------------------------------
不需要跑MapReduce的SQL：
DDL不需要
DML中
select * from tb_name;
查询分区也不需要
-----------------------------------------------------------------------------------------------------------------
value存放位置：
1、列名后
2、列族后
3、rowkey
查询性能从前到后依次下降
尽可能将value存在rowkey，rowkey支持左匹配
需求：根据电话号码和日期查询流量记录
设计一张表，把所有需要的数据设计成rowkey：电话号码+日期
需求2：查询每天有多少条上网记录
设计一张索引表，rowkey：时间+电话号码，引用：电话号码+时间
hbase适合简单的查询
1、数据量大，每天1000W条数据，亿级别以上
2、场景简单需求固定
调优
一、如何设计表
1）如何设计rowkey（满足业务）
2）设计表的时候进行预分区（预分region）
第一种方式：从0开始
SPLIT=>['10','20','30','40'];
实现负载均衡
balancer balance_switch
第二种方式：用文件中的范围进行分割
SPLIT_FILE=>
第三种方式：NUMREGIONS=>100,SPLITALGO=>
3）设计原则：
rowkey长度原则：本质上越短越好，（如果是64位操作系统 ，设计为8字节的整数倍，最长不要超过16个字节，提高读写性能）。
散列原则：尽可能将数据分散到不同的region（提高命中率）
唯一性：hash值+电话号码+时间戳
一台服务器管理300-500个region是比较合理的。
日志文件级别设置
从内存中刷出来的文件合并
内存：MemStore
小合并
大合并时：清除版本过期的数据
持久化成文件
大合并是非常耗费资源的，可以手动关闭，然后在集群不忙的时候手动启动大合并开关。
status可以查看节点当前运行状态以及平均负载状况，HBase什么样的负载算低负载？什么样的负载算高负载？
DDL命令：alter，create，desc,disable,disable_all,drop,enable.exists,get_table,is_distabled,list,show_filters
dml命令:append,count,get,incr,put,scan,truncate,
tools:major_compace,balance_switch,balancer,flush(数据从内存刷到磁盘)，move,split(预分区)
security（权限）： grant（远程权限）
get和put命令的使用
COMPRESSION=>'NONE'没有使用压缩
压缩格式
snappy，gzip
text文件格式
WARN util.NativeCodeLoader：native库一般是用c语言和C++写的，不能下载本地Hadoop库到我们的集群平台
Hadoop checknative查看Hadoop支持的压缩格式。
CDH：Cloudera's Distribution Including Apache Hadoop
cloudera公司的Hadoop版本，商业化的Hadoop。
压缩在shuffle过程中。
如果瓶颈在于带宽，那么就使用压缩。
snappy压缩
有两个地方可以考虑是否启用压缩：shuffle map输出到分区，reduce输出
各种压缩格式搭配使用
hadoop启用压缩在core-site.xml中配置，在mapred-site.xml中配置
hbase中启用压缩
1）在hbase的lib目录下创建native目录
2）Linux-amd64-64
3)cp -r $HADOOP_HOME/lib/native/* $HBASE_HOME/lib/native/Linux-amd64-64
create 'test1',{NAME=>'cf2',COMPRESSION=>'snappy'}
压缩文件格式对比
调优方式
CAP理论：一致性、可用性、分区容错性
hive支持的文件格式：
TextFile：缺陷是什么？
RCfile 这三种文件格式为列式文件格式，特点：行式存储旋转90度
ORC 对于select rowid from user这种查询一列的语句，列式存储读取
Parquet 效率高，压缩效率高。
列式存储与行式存储的对比
关系型数据库是行式存储，面向对象的编程。
启用列式文件格式存储的语法：
在创建表的时候指定存储格式为orc（如果不指定默认为text格式）
stored as 'orc'----------存储为orc格式
如果向这张表中加载数据？
1）首先加载到text格式的表中
2）通过insert的方式加载text表数据到orc表
AVRO
为什么HFile中要设置DataBlock？
想想地铁和火车的车厢，如果整列火车就只有一个车厢，那么就只有一个门，那么所有的乘客都从一个门进出，并且只有两个检票员，管理混乱，列车等待时间也会变长。同理，HFile中Data的设计可以表示一个Block，这样就可以单独管理数据的进出，不会造成混乱。
table属性：
BlockSIZE=>'66536' 一个DataBlock 64K
TTL=>'FOREVER' table的生命周期
BLOCKCACHE='true' 这个参数代表什么？
首先hbase非常依赖于内存，yarn调用资源占用的内存，CPU---8G
假设主机128G，它愿意拿出来多少内存给hbase使用，配置HBASE_HEAPSIZE
export HBASE_HEAPSIZE=100G
MemStore 50G BlockCache 30G RegionServer 20G
hbase读数据：MEMStore:快 BLockCache(内存)：快，提升缓存命中率 LRU策略
LRU策略：Least Recently unused,最近最久未使用
jvm内存模型
blockcache的分配
25% 只访问过一次的数据
50% 被访问超过两次以上
25% in_memory 一直在内存里
言归正传：blockcache=>'true' 表示所有的数据都在内存里面，什么样的情况下使用？数据量不太大，并发量高（内存中查询速度快）。
这只是理论，真正实践时还要具体情况具体分析。
hbase主要调的是内存。
读数据的过程：先MemStore，再BlockCache，最后storeFile
这个参数在哪里看？desc 命令的打印内容中。
hbase权限控制
配置三个参数
重启hbase
hbck ： Run the hbase 'fsck' tool
删除表：首先disable tb_name ，再drop table
底层：
1)首先移动hfile到tmp目录，再到tmp目录下rmr进行删除
在删除过程中集群挂了 ，机房停电了 ，交互机出问题了
2)hbase：meta 对应的元数据消失
这种情况下，元数据还存在，再次开机之后start-hbase.sh启动不了集群。
执行命令hbck 会自动清除之前的元数据。
最主要掌握的内容：
1）java API 读写数据
2）集群搭建
3）hbase数据的读写流程
4）rowkey的设计原则
Hadoop：象群
hbase：面向列的数据库
hive：象群头上的蜂群
zookeeper：动物园管理员
HBase是分布式、面向列开源数据库，HBase存储在Hadoop的hdfs上。
网友评论