美文网首页周蓬勃HBASE 知识整理
6. Hbase 配置文件详解(二)

6. Hbase 配置文件详解(二)

作者: 步闲 | 来源:发表于2018-10-17 13:38 被阅读2次

    31. hbase.systemtables.compacting.memstore.type

    描述

    确定要用于系统表(如META,命名空间表等)的memstore类型。默认情况下,NONE是类型,因此我们对所有系统表使用默认memstore。如果我们需要对系统表使用压缩memstore,则将此属性设置为BASIC / EAGER

    默认

    NONE

    32. hbase.regionserver.optionalcacheflushinterval

    描述

    在自动刷新之前编辑在内存中的最长时间。默认1小时。将其设置为0可禁用自动刷新。

    默认

    3600000

    33. hbase.regionserver.dns.interface

    描述

    区域服务器应从其报告其IP地址的网络接口的名称。

    默认

    default

    34. hbase.regionserver.dns.nameserver

    描述

    域名服务器(DNS)的主机名或IP地址,区域服务器应使用该地址来确定主站用于通信和显示目的的主机名。

    默认

    default

    35. hbase.regionserver.region.split.policy

    描述

    拆分策略确定何时应拆分区域。当前可用的各种其他拆分策略包括BusyRegionSplitPolicy,ConstantSizeRegionSplitPolicy,DisabledRegionSplitPolicy,DelimitedKeyPrefixRegionSplitPolicy,KeyPrefixRegionSplitPolicy和SteppingSplitPolicy。DisabledRegionSplitPolicy阻止手动区域拆分。

    默认

    org.apache.hadoop.hbase.regionserver.SteppingSplitPolicy

    36. hbase.regionserver.regionSplitLimit

    描述

    限制区域数量,之后不再发生区域分裂。这不是区域数量的硬限制,而是作为区域服务器在某个限制之后停止分裂的指导。默认设置为1000。

    默认

    1000

    37. zookeeper.session.timeout

    描述

    ZooKeeper会话超时(以毫秒为单位)。它以两种不同的方式使用。首先,该值用于HBase用于连接集合的ZK客户端。HBase在启动ZK服务器时也会使用它,并将其作为'maxSessionTimeout'传递。见http://hadoop.apache.org/zookeeper/docs/current/zookeeperProgrammers.html#ch_zkSessions。例如,如果HBase区域服务器连接到也由HBase管理的ZK集合,则会话超时将是此配置指定的超时。但是,连接到使用不同配置管理的集合的区域服务器将受到该集合的maxSessionTimeout。因此,即使HBase可能建议使用90秒,但是整体可以具有低于此的最大超时,并且它将优先。ZK附带的当前默认值是40秒,低于HBase。

    默认

    90000

    38. zookeeper.znode.parent

    描述

    ZooKeeper中HBase的Root ZNode。所有使用相对路径配置的HBase的ZooKeeper文件都将位于此节点下。默认情况下,所有HBase的ZooKeeper文件路径都配置了相对路径,因此除非更改,否则它们都将在此目录下。

    默认

    /hbase

    39. zookeeper.znode.acl.parent

    描述

    用于访问控制列表的根ZNode。

    默认

    acl

    40. hbase.zookeeper.dns.interface

    描述

    ZooKeeper服务器应从中报告其IP地址的网络接口的名称。

    默认

    default

    41. hbase.zookeeper.dns.nameserver

    描述

    ZooKeeper服务器应使用的名称服务器(DNS)的主机名或IP地址,用于确定主服务器用于通信和显示目的的主机名。

    默认

    default

    42. hbase.zookeeper.peerport

    描述

    ZooKeeper对等体使用的端口相互通信。有关详细信息,请参阅http://hadoop.apache.org/zookeeper/docs/r3.1.1/zookeeperStarted.html#sc_RunningReplicatedZooKeeper

    默认

    2888

    43. hbase.zookeeper.leaderport

    描述

    ZooKeeper用于领导者选举的端口。有关详细信息,请参阅http://hadoop.apache.org/zookeeper/docs/r3.1.1/zookeeperStarted.html#sc_RunningReplicatedZooKeeper

    默认

    3888

    44. hbase.zookeeper.property.initLimit

    描述

    来自ZooKeeper的配置zoo.cfg的属性。初始同步阶段可以采用的滴答数。

    默认

    10

    45. hbase.zookeeper.property.syncLimit

    描述

    来自ZooKeeper的配置zoo.cfg的属性。在发送请求和获取确认之间可以传递的滴答数。

    默认

    5

    46. hbase.zookeeper.property.dataDir

    描述

    来自ZooKeeper的配置zoo.cfg的属性。存储快照的目录。

    默认

    ${hbase.tmp.dir}/zookeeper

    47. hbase.zookeeper.property.clientPort

    描述

    来自ZooKeeper的配置zoo.cfg的属性。客户端将连接的端口。

    默认

    2181

    48. hbase.zookeeper.property.maxClientCnxns

    描述

    来自ZooKeeper的配置zoo.cfg的属性。限制由IP地址标识的单个客户端可能对ZooKeeper集合的单个成员进行的并发连接数(在套接字级别)。设置为高以避免运行独立和伪分布的zk连接问题。

    默认

    300

    49. hbase.client.write.buffer

    描述

    BufferedMutator写缓冲区的默认大小(以字节为单位)。更大的缓冲区需要更多的内存 - 在客户端和服务器端,因为服务器实例化传递的写缓冲区来处理它 - 但更大的缓冲区大小减少了RPC的数量。有关使用的服务器端内存的估计,请评估hbase.client.write.buffer * hbase.regionserver.handler.count

    默认

    2097152

    50. hbase.client.pause

    描述

    常规客户端暂停值。主要用作在运行重试失败的get,区域查找等之前等待的值。有关我们如何从此初始暂停量退回以及此暂停如何重试的说明,请参阅hbase.client.retries.number。

    默认

    100

    51. hbase.client.pause.cqtbe

    描述

    是否为CallQueueTooBigException(cqtbe)使用特殊客户端暂停。将此属性设置为比hbase.client.pause更高的值,如果您从同一RegionServer观察频繁的CQTBE并且其中的调用队列保持满

    默认

    没有

    52. hbase.client.retries.number

    描述

    最大重试次数。用作所有可重试操作的最大值,例如获取单元格的值,开始行更新等。重试间隔是基于hbase.client.pause的粗略函数。起初我们在这个时间间隔重试,但随后退回,我们很快就会每十秒重试一次。有关备份如何增加的信息,请参阅HConstants#RETRY_BACKOFF。更改此设置和hbase.client.pause以适合您的工作负载。

    默认

    15

    53. hbase.client.max.total.tasks

    描述

    单个HTable实例将发送到群集的最大并发突变任务数。

    默认

    100

    54. hbase.client.max.perserver.tasks

    描述

    单个HTable实例将发送到单个区域服务器的最大并发突变任务数。

    默认

    2

    55. hbase.client.max.perregion.tasks

    描述

    客户端将维护到单个Region的最大并发突变任务数。也就是说,如果已经有hbase.client.max.perregion.tasks正在为此区域写入正在进行的操作,则在某些写入完成之前,不会将新的put发送到此区域。

    默认

    1

    56. hbase.client.perserver.requests.threshold

    描述

    所有客户端线程中一台服务器的最大并发挂起请求数(进程级别)。超过请求将立即抛出ServerTooBusyException,以防止用户的线程仅被一个慢速区域服务器占用和阻止。如果使用固定数量的线程以同步方式访问HBase,请将此值设置为与线程数相关的合适值,这将对您有所帮助。有关详细信息,请参阅https://issues.apache.org/jira/browse/HBASE-16388

    默认

    2147483647

    57. hbase.client.scanner.caching

    描述

    如果未从(本地,客户端)内存提供服务器,则在扫描器上调用next时我们尝试获取的行数。此配置与hbase.client.scanner.max.result.size一起使用,以有效地尝试使用网络。默认值默认值为Integer.MAX_VALUE,以便网络将填充由hbase.client.scanner.max.result.size定义的块大小,而不是受特定行数限制,因为行的大小因表而异。如果您提前知道扫描不需要超过一定数量的行,则应通过Scan#setCaching将此配置设置为该行限制。较高的缓存值将使扫描程序更快,但会占用更多内存,而当缓存为空时,下一次调用可能会花费更长时间。请勿将此值设置为调用之间的时间大于扫描程序超时; 即hbase.client.scanner.timeout.period

    默认

    2147483647

    58. hbase.client.keyvalue.maxsize

    描述

    指定KeyValue实例的组合最大允许大小。这是为存储在存储文件中的单个条目设置上限。由于它们无法拆分,因此有助于避免因为数据太大而无法进一步拆分区域。将其设置为最大区域大小的一小部分似乎是明智的。将其设置为零或更小会禁用检查。

    默认

    10485760

    59. hbase.server.keyvalue.maxsize

    描述

    单个单元格的最大允许大小,包括值和所有关键组件。值0或更小会禁用检查。默认值为10MB。这是一个安全设置,用于保护服务器免受OOM情况的影响。

    默认

    10485760

    60. hbase.client.scanner.timeout.period

    描述

    客户端扫描程序租期(以毫秒为单位)。

    默认

    60000

    相关文章

      网友评论

        本文标题:6. Hbase 配置文件详解(二)

        本文链接:https://www.haomeiwen.com/subject/ouqmpftx.html