环境
Yahoo! Cloud System Benchmark (YCSB)性能测试工具
1.下载和安装
1.下载并解压
wget https://github.com/brianfrankcooper/YCSB/releases/download/0.15.0/ycsb-0.15.0.tar.gz
tar xfvz ycsb-0.15.0.tar.gz
cd ycsb-0.15.0
2.测试是否可以运行
bin/ycsb.sh load basic -P workloads/workloada
bin/ycsb.sh run basic -P workloads/workloada
3.执行测试
## 500线程测试 MongoDB
/home/ycsb-0.15.0/bin/ycsb.sh run mongodb -P /home/ycsb-0.15.0/workloads/workloadc -threads 500
## 500线程测试 Redis
## https://github.com/brianfrankcooper/YCSB/tree/master/redis
## /home/ycsb-0.15.0/bin/ycsb.sh run redis -P /home/ycsb-0.15.0/workloads/workloadc -p redis.host=localhost -p redis.port=6379 -threads 500
## 500线程测试 Redis Cluster
## /home/ycsb-0.15.0/bin/ycsb.sh run redis -P /home/ycsb-0.15.0/workloads/workloadc -p redis.host=192.168.30.35 -p redis.port=6379 -threads 5 -p redis.cluster=true
/home/ycsb-0.15.0/bin/ycsb.sh load redis -P /home/ycsb-0.15.0/workloads/workloadc \
-p redis.host=192.168.30.35 \
-p redis.host=192.168.30.36 \
-p redis.host=192.168.30.37 \
-p redis.host=192.168.30.38 \
-p redis.host=192.168.30.39 \
-p redis.host=192.168.30.40 \
-p redis.port=6379 -threads 5 -p redis.cluster=true
/home/ycsb-0.15.0/bin/ycsb.sh run redis -P /home/ycsb-0.15.0/workloads/workloadc \
-p redis.host=192.168.30.35 \
-p redis.host=192.168.30.36 \
-p redis.host=192.168.30.37 \
-p redis.host=192.168.30.38 \
-p redis.host=192.168.30.39 \
-p redis.host=192.168.30.40 \
-p redis.port=6379 -threads 5 -p redis.cluster=true
4.配置文件示例（本示例为写入测试）
cat <<\EOF >/home/ycsb-0.15.0/workloads/workloadc
## 测试数据集的记录条数
recordcount=500000
## 测试过程中执行的操作总数
operationcount=500000
## 实现类
workload=com.yahoo.ycsb.workloads.CoreWorkload
# workload=com.yahoo.ycsb.db.MongoDbClient
# mongodb.url=mongodb://192.168.30.161:27017
mongodb.url=mongodb://192.168.30.44:27200
## 查询时是否读取记录的所有字段（默认为 true）
readallfields=true
## 读取操作比例（例如：0.5）
readproportion=0
## 插入操作比例
insertproportion=1
## 更新操作比例
updateproportion=0
## 扫描操作比例
scanproportion=0
## 请求分布模式
requestdistribution=zipfian
EOF
2.命令参数
## 指定需要读取的配置文件（可以同时指定多个）
-P workloads/workloada
-P workloads/workloada -P large.dat
## 指定每2000毫秒输出一次统计结果
## 报告的时间点数据仅为前一个2000毫秒的平均值
-p measurementtype=timeseries -p timeseries.granularity=2000
## 指定 10 个线程
-threads 10
## 每秒总共 100 次操作
-target 100
3.写入配置文件
## 指定 10 个线程
threadcount=10
## 每秒总共 100 次操作
target=100
## 指定每2000毫秒输出一次统计结果
## 报告的时间点数据仅为前一个2000毫秒的平均值
measurementtype=timeseries
timeseries.granularity=2000
4.输出结果说明
[OVERALL],RunTime(ms), 10110 ## 总共运行时间10.11秒
[OVERALL],Throughput(ops/sec), 98.91196834817013 ## 平均吞吐量98.9次/秒
[UPDATE], Operations, 491 ## 有491个更新操作
[UPDATE], AverageLatency(ms), 0.054989816700611 ## 平均响应时间（毫秒）
[UPDATE], MinLatency(ms), 0 ## 最小响应时间（毫秒）（1秒=1000毫秒）
[UPDATE], MaxLatency(ms), 1 ## 最大响应时间（毫秒）
[UPDATE], 95thPercentileLatency(ms), 1
[UPDATE], 99thPercentileLatency(ms), 1
[UPDATE], Return=0, 491 ## 有491个更新操作返回0（0=成功）
[UPDATE], 0, 464 ## 有464个更新操作在1ms内完成
[UPDATE], 1, 27 ## 有27个更新操作在1-2ms内完成
[UPDATE], 2, 0
[UPDATE], 3, 0
[UPDATE], 4, 0
5.实测结果
CPU：8核
内存：24G
硬盘：SSD存储
[20:04:10 root@mongodb-test-oneonde ~ $]mongostat
insert query update delete getmore command dirty used flushes vsize res qrw arw net_in net_out conn time
28763 *0 *0 *0 0 2|0 2.2% 2.9% 0 2.02G 971M 0|0 1|0 37.1m 1.36m 104 Aug 1 20:04:13.302
26714 *0 *0 *0 0 2|0 2.6% 3.3% 0 2.02G 971M 0|1 1|0 34.5m 1.27m 104 Aug 1 20:04:14.302
28496 *0 *0 *0 0 3|0 2.9% 3.6% 0 2.02G 971M 0|0 1|0 36.8m 1.35m 104 Aug 1 20:04:15.301
27726 *0 *0 *0 0 2|0 3.3% 3.9% 0 2.02G 971M 0|0 1|2 35.8m 1.31m 104 Aug 1 20:04:16.301
26610 *0 *0 *0 0 1|0 3.6% 4.3% 0 2.02G 971M 0|3 1|0 34.4m 1.26m 104 Aug 1 20:04:17.302
26036 *0 *0 *0 0 2|0 3.9% 4.6% 0 2.02G 971M 0|0 1|0 33.6m 1.24m 104 Aug 1 20:04:18.300
28221 *0 *0 *0 0 2|0 4.2% 4.9% 0 2.02G 971M 0|1 1|0 36.4m 1.33m 104 Aug 1 20:04:19.300
28502 *0 *0 *0 0 1|0 4.6% 5.3% 0 2.02G 971M 0|0 1|1 36.8m 1.35m 104 Aug 1 20:04:20.303
28430 *0 *0 *0 0 2|0 4.9% 5.6% 0 2.02G 971M 0|0 1|1 36.7m 1.34m 104 Aug 1 20:04:21.301
26332 *0 *0 *0 0 2|0 3.5% 5.9% 0 2.02G 971M 0|0 1|1 34.0m 1.25m 104 Aug 1 20:04:22.300
[OVERALL], RunTime(ms), 19632
[OVERALL], Throughput(ops/sec), 25468.622656886717
[TOTAL_GCS_PS_Scavenge], Count, 10
[TOTAL_GC_TIME_PS_Scavenge], Time(ms), 80
[TOTAL_GC_TIME_%_PS_Scavenge], Time(%), 0.40749796251018744
[TOTAL_GCS_PS_MarkSweep], Count, 0
[TOTAL_GC_TIME_PS_MarkSweep], Time(ms), 0
[TOTAL_GC_TIME_%_PS_MarkSweep], Time(%), 0.0
[TOTAL_GCs], Count, 10
[TOTAL_GC_TIME], Time(ms), 80
[TOTAL_GC_TIME_%], Time(%), 0.40749796251018744
[CLEANUP], Operations, 500
[CLEANUP], AverageLatency(us), 15.93
[CLEANUP], MinLatency(us), 0
[CLEANUP], MaxLatency(us), 7803
[CLEANUP], 95thPercentileLatency(us), 1
[CLEANUP], 99thPercentileLatency(us), 3
[INSERT], Operations, 500000
[INSERT], AverageLatency(us), 19045.604576
[INSERT], MinLatency(us), 11296
[INSERT], MaxLatency(us), 169215
[INSERT], 95thPercentileLatency(us), 23743
[INSERT], 99thPercentileLatency(us), 42079
[INSERT], Return=OK, 500000
附录：
GitHub主页：https://github.com/brianfrankcooper/YCSB
最新发行版：https://github.com/brianfrankcooper/YCSB/releases/latest
网友评论