美文网首页
HBase基准测试

HBase基准测试

作者: sparkle123 | 来源:发表于2020-09-01 10:11 被阅读0次

HBase Performance Evaluation

su hdfs ./hbase org.apache.hadoop.hbase.PerformanceEvaluation sequentialWrite 1

            Elapsed time in milliseconds=26672
            Row count=1048576

su hdfs ./hbase org.apache.hadoop.hbase.PerformanceEvaluation sequentialRead 1

            Elapsed time in milliseconds=227972
            Row count=1048576

su hdfs ./hbase org.apache.hadoop.hbase.PerformanceEvaluation randomWrite 1

         Elapsed time in milliseconds=15852
            Row count=1048576

su hdfs ./hbase org.apache.hadoop.hbase.PerformanceEvaluation randomRead 1

          Elapsed time in milliseconds=259335
            Row count=1048576

随机写测试 RandomWriteTest

hbase pe --nomapred --oneCon=true --valueSize=100 --compress=SNAPPY --rows=150000 --autoFlush=true --presplit=64 randomWrite 64

把PE模式设为了非MapReduuce(--nomapred),即采用起线程的形式。
跑的命令是randomWrite,即随机写入;
后面跟的64代表起了64个线程来做写入。
--rows=150000 代表每个线程会写入150000行数据。
PE工具的所有的输出都会直接写到LOG文件,LOG的位置需要参照HBase的设置。运行结束后,PE会分别打出每个线程的延迟状况

统计了所有线程的最大持续时间,平均持续时间等等

–nomapred表示不使用MAPREDUCE框架
–oneCon=true 所有线程是否共享连接
–valueSize=100 一次写入所写入value的大小
–compress压缩方式
–presplit=64 创建预分表(初始情况下将table分为多少个分区)
–autoFlush=true client在收到put请求时是否每次都发送到region server
–rows=150000每个线程需要发送的数据量
每次测试都会删除之前测试创建的测试表。删除表的时间不计入结果

相关文章

  • HBase基准测试

    HBase Performance Evaluation su hdfs ./hbase org.apache.h...

  • mysql 基准测试

    mysql 基准测试 基准测试策略 基准测试指标 基准测试工具 基准测试样例

  • HBase基准性能测试报告

    作者:范欣欣 本次测试主要评估线上HBase的整体性能,量化当前HBase的性能指标,对各种场景下HBase性能表...

  • HBase基准性能测试报告

    作者:范欣欣 本次测试主要评估线上HBase的整体性能,量化当前HBase的性能指标,对各种场景下HBase性能表...

  • MySQL基准测试工具

    一、基准测试 基准测试(benchmark)是针对系统设计的一种压力测试。 基准测试是简化了的压力测试。 1.1 ...

  • 数据库基准测试工具-sysbench

    基准测试 定义 数据库的基准测试是对数据库的性能指标进行定量的、可复现的、可对比的测试。 基准测试与压力测试 基准...

  • go 基准测试

    基准测试主要用于评估代码的性能,Go 语言测试框架可以让我们很容易地进行基准测试,同样需要遵循四点规则: 基准测试...

  • 什么是MySQL的基准测试

    1.MySQL基准测试 什么是基准测试: 基准测试是一种测量和评估软件性能指标的活动用于建立某个时刻的性能基准,以...

  • 高性能MySQL第二章 读书笔记

    第2章 MySQL基准测试 基准测试可以在系统的实际负载之外创造一些虚构场景进行测试。 基准测试的一个主要问题在于...

  • flink sink hbase

    测试环境: flink 1.7.2 hbase 1.3.1 hbase util hbase sink 定义 主程序调用

网友评论

      本文标题:HBase基准测试

      本文链接:https://www.haomeiwen.com/subject/gcvusktx.html