【TPC-DS】深入分析 hive-testbench

作者: 熊本极客 | 来源:发表于2023-07-07 14:40 被阅读0次

TPC-DS在大数据中的使用
hive-testbench
hive-testbench项目构建cds数据集合失败
用TPC-DS测试Sql server，Oracle
TPC-DS的25张表介绍
TPC-DS benchmark
Javaweb深入分析
TPC-DS安装测试hive
Spark2.1和2.2 SQL物理执行策略关键源码分析
深入分析kube-batch（1）——启动过程

1.hive-testbench 简介

hive-testbench 是一个用于测试和基准测试 Apache Hive 的工具集。它提供了一系列的测试数据集和查询样例，用于评估和比较 Hive 在不同配置和环境下的性能。hive-testbench 的主要目标是模拟真实的大规模数据集和复杂查询场景，以帮助用户评估和优化 Hive 的性能。

hive-testbench 包含了 TPC-DS 和 TPCH 的各种不同规模的数据集，从几百兆到几十亿行的数据规模，以及包含多个表和复杂查询的查询样例。

说明：

TPC-DS：是一个面向决策支持系统的包含多维度常规应用模型的决策支持基准，定义了 25 张表、99 个查询

TPC-H：用来评估在线分析处理的基准程序，主要模拟了供应商和采购商之间的交易行为，包含了 8 张表、22 个查询。

2.入门教程

前提条件
1.安装和配置 Hive。
2.下载 hive-testbench

问题1：TPC-DS 性能测试场景下，如何生成 10GB 的 ORC 文件格式的 Hive 数据集

# 进入 hive-testbench 的根目录
# 步骤1：构建数据生成器
$ ./tpcds-build.sh

# 步骤2：运行脚本生成数据集
$./tpcds-setup.sh 10

问题2：TPC-DS 性能测试场景下，如何生成 1TB 的 RCFile 文件格式的 Hive 数据集

# 进入 hive-testbench 的根目录
# 步骤1：构建数据生成器
$ ./tpcds-build.sh

# 步骤2：设置 环境变量并运行脚本生成数据集
$export FORMAT=rcfile
$./tpcds-setup.sh 1000

问题2：TPC-DS 性能测试场景下，如何生成 500GB 的 TXT文件格式的 Hive 数据集

# 进入 hive-testbench 的根目录
# 步骤1：构建数据生成器
$ ./tpcds-build.sh

# 步骤2：设置 环境变量并运行脚本生成数据集
$export FORMAT=txt
$./tpcds-setup.sh 500

问题4：TPC-H 性能测试场景下，如何生成 100GB 的 ORC 文件格式的 Hive 数据集

# 进入 hive-testbench 的根目录
# 步骤1：构建数据生成器
$ ./tpch-build.sh

# 步骤2：运行脚本生成数据集
$./tpch-setup.sh 100

3.分析 hive-testbench 的工作流程

说明：执行脚本 tpcds-build.sh 可以构建出 ./tpcds-gen/target/tpcds-gen-1.0-SNAPSHOT.jar，而 tpch-build.sh 可以构建出 ./tpch-gen/target/tpch-gen-1.0-SNAPSHOT.jar

下面以脚本 tpcds-setup.sh 生成 ORC 格式、10GB 的 HIve 数据集为例，剖析 hive-testbench 的工作流程。

① 验证参数：脚本首先会验证输入的参数是否正确，包括存储格式 FORMAT、数据规模 SCALE 等参数。

② 设置环境变量：脚本会设置一些环境变量，如 Hadoop、Hive、TPC-DS 数据生成器等的路径。

③ 生成 TPC-DS 数据集：脚本会调用 TPC-DS 数据生成器生成 TPC-DS 数据集。这个过程包括以下几个步骤：

在 hdfs 中生成 txt 数据文件：脚本会调用 TPC-DS 数据生成器生成相应规模因子的数据集。生成的数据包括多个表，每个表包含多个分区的数据。

# 在脚本tpcds-setup.sh 中
# 在 Hadoop 分布式环境中运行打包成 JAR 文件的 Hadoop 应用程序
if [ $? -ne 0 ]; then
    echo "Generating data at scale factor $SCALE."
    (cd tpcds-gen; hadoop jar target/*.jar -d ${DIR}/${SCALE}/ -s ${SCALE})
fi

创建数据库和加载 hdfs 的数据文件：脚本会在 Hive 中创建一个数据库和对应的表，并加载 hdfs 的数据文件。

# 在脚本tpcds-setup.sh 中
# 脚本ddl-tpcds/text/alltables.sql 创建了 hive表
runcommand "$HIVE  -i settings/load-flat.sql -f ddl-tpcds/text/alltables.sql --hivevar DB=tpcds_text_${SCALE} --hivevar LOCATION=${DIR}/${SCALE}"

#在ddl-tpcds/text/alltables.sql中
drop table if exists store_sales;
create external table if not exists store_sales(
      ss_sold_date_sk bigint
,     ss_sold_time_sk bigint
,     ss_item_sk bigint
,     ss_customer_sk bigint
,     ss_cdemo_sk bigint
,     ss_hdemo_sk bigint
,     ss_addr_sk bigint
,     ss_store_sk bigint
,     ss_promo_sk bigint
,     ss_ticket_number bigint
,     ss_quantity int
,     ss_wholesale_cost decimal(7,2)
,     ss_list_price decimal(7,2)
,     ss_sales_price decimal(7,2)
,     ss_ext_discount_amt decimal(7,2)
,     ss_ext_sales_price decimal(7,2)
,     ss_ext_wholesale_cost decimal(7,2)
,     ss_ext_list_price decimal(7,2)
,     ss_ext_tax decimal(7,2)
,     ss_coupon_amt decimal(7,2)
,     ss_net_paid decimal(7,2)
,     ss_net_paid_inc_tax decimal(7,2)
,     ss_net_profit decimal(7,2)  
)
row format delimited fields terminated by '|'
location '${LOCATION}/store_sales'
;

# `location '${LOCATION}/store_sales'`指定了外部表的存储位置。`${LOCATION}`为${DIR}/${SCALE}即/tmp/tpcds-generate/10
# row format delimited fields terminated by '|'表示文件中每行的以'|'字符作为分隔符，即每行的数据对应着表中的字段

④ 转换表为 ORC 格式：脚本会使用 Hive 的 INSERT OVERWRITE TABLE 命令将原始数据表转换为 ORC 格式的数据表。这个过程会创建新的表，并将数据以 ORC 格式写入其中。下面以 ORC 格式和 10GB 数据量为例。

# 在脚本tpcds-setup.sh 中
# 创建新的数据库tpcds_bin_partitioned_${FORMAT}_${SCALE}，即 tpcds_bin_partitioned_orc_10，还有目录 ddl-tpcds 下的全部 25 张表
# 省略 ...
DIMS="date_dim time_dim item customer customer_demographics household_demographics customer_address store promotion warehouse ship_mode reason income_band call_center web_page catalog_page web_site"
FACTS="store_sales store_returns web_sales web_returns catalog_sales catalog_returns inventory"
# 省略 ...
DATABASE=tpcds_bin_partitioned_${FORMAT}_${SCALE}
# 省略 ...
for t in ${DIMS}
do
    COMMAND="$HIVE  -i settings/load-partitioned.sql -f ddl-tpcds/bin_partitioned/${t}.sql \
        --hivevar DB=${DATABASE} --hivevar SOURCE=tpcds_text_${SCALE} \
            --hivevar SCALE=${SCALE} \
        --hivevar REDUCERS=${REDUCERS} \
        --hivevar FILE=${FORMAT}"
    echo -e "${t}:\n\t@$COMMAND $SILENCE && echo 'Optimizing table $t ($i/$total).'" >> $LOAD_FILE
    i=`expr $i + 1`
done

for t in ${FACTS}
do
    COMMAND="$HIVE  -i settings/load-partitioned.sql -f ddl-tpcds/bin_partitioned/${t}.sql \
        --hivevar DB=${DATABASE} \
            --hivevar SCALE=${SCALE} \
        --hivevar SOURCE=tpcds_text_${SCALE} --hivevar BUCKETS=${BUCKETS} \
        --hivevar RETURN_BUCKETS=${RETURN_BUCKETS} --hivevar REDUCERS=${REDUCERS} --hivevar FILE=${FORMAT}"
    echo -e "${t}:\n\t@$COMMAND $SILENCE && echo 'Optimizing table $t ($i/$total).'" >> $LOAD_FILE
    i=`expr $i + 1`
done

# 以目录 ddl-tpcds/bin_partitioned/store_sales.sql 为例，分析一下 hive sql
# 创建数据库，其中指定格式为 FILE
create database if not exists ${DB};
use ${DB};

drop table if exists store_sales;
# 创建表 store_sales
create table store_sales
(
      ss_sold_time_sk bigint
,     ss_item_sk bigint
,     ss_customer_sk bigint
,     ss_cdemo_sk bigint
,     ss_hdemo_sk bigint
,     ss_addr_sk bigint
,     ss_store_sk bigint
,     ss_promo_sk bigint
,     ss_ticket_number bigint
,     ss_quantity int
,     ss_wholesale_cost decimal(7,2)
,     ss_list_price decimal(7,2)
,     ss_sales_price decimal(7,2)
,     ss_ext_discount_amt decimal(7,2)
,     ss_ext_sales_price decimal(7,2)
,     ss_ext_wholesale_cost decimal(7,2)
,     ss_ext_list_price decimal(7,2)
,     ss_ext_tax decimal(7,2)
,     ss_coupon_amt decimal(7,2)
,     ss_net_paid decimal(7,2)
,     ss_net_paid_inc_tax decimal(7,2)
,     ss_net_profit decimal(7,2)
)
partitioned by (ss_sold_date_sk bigint)
stored as ${FILE};

# 从表为 ${SOURCE}.store_sales 即数据格式为 txt 的 tpcds_text_${SCALE} .store_sales，即 tpcds_text_10.store_sales，导入新数据库的 store_sales
from ${SOURCE}.store_sales ss
insert overwrite table store_sales partition (ss_sold_date_sk) 
select
        ss.ss_sold_time_sk,
        ss.ss_item_sk,
        ss.ss_customer_sk,
        ss.ss_cdemo_sk,
        ss.ss_hdemo_sk,
        ss.ss_addr_sk,
        ss.ss_store_sk,
        ss.ss_promo_sk,
        ss.ss_ticket_number,
        ss.ss_quantity,
        ss.ss_wholesale_cost,
        ss.ss_list_price,
        ss.ss_sales_price,
        ss.ss_ext_discount_amt,
        ss.ss_ext_sales_price,
        ss.ss_ext_wholesale_cost,
        ss.ss_ext_list_price,
        ss.ss_ext_tax,
        ss.ss_coupon_amt,
        ss.ss_net_paid,
        ss.ss_net_paid_inc_tax,
        ss.ss_net_profit,
        ss.ss_sold_date_sk
        where ss.ss_sold_date_sk is not null
insert overwrite table store_sales partition (ss_sold_date_sk) 
select
        ss.ss_sold_time_sk,
        ss.ss_item_sk,
        ss.ss_customer_sk,
        ss.ss_cdemo_sk,
        ss.ss_hdemo_sk,
        ss.ss_addr_sk,
        ss.ss_store_sk,
        ss.ss_promo_sk,
        ss.ss_ticket_number,
        ss.ss_quantity,
        ss.ss_wholesale_cost,
        ss.ss_list_price,
        ss.ss_sales_price,
        ss.ss_ext_discount_amt,
        ss.ss_ext_sales_price,
        ss.ss_ext_wholesale_cost,
        ss.ss_ext_list_price,
        ss.ss_ext_tax,
        ss.ss_coupon_amt,
        ss.ss_net_paid,
        ss.ss_net_paid_inc_tax,
        ss.ss_net_profit,
        ss.ss_sold_date_sk
        where ss.ss_sold_date_sk is null
        sort by ss.ss_sold_date_sk
;

⑤ 收集统计信息：脚本会使用 Hive 的 ANALYZE TABLE 命令收集表的统计信息，以帮助优化查询计划。

# 利用 hive cli执行 /ddl-tpcds/text/analyze_everything.sql
hive>USE tpcds_bin_partitioned_orc_10；
hive>SOURCE /ddl-tpcds/text/analyze_everything.sql;

TPC-DS在大数据中的使用
大数据测试基准的选择 TPC-DS简介编译hive-testbench 运行测试案例大数据测试基准的选择企业...
hive-testbench
Github：https://github.com/hortonworks/hive-testbench/[htt...
hive-testbench项目构建cds数据集合失败
背景介绍 hive-testbench[https://github.com/hortonworks/hive-t...
用TPC-DS测试Sql server，Oracle
TPC-DS是什么 TPC-DS是TPC组织发布的用于测试决策系统的基准测试，是TPC-H的改进版。我们可以用它生...
TPC-DS的25张表介绍
TPC-DS测试会生成25张表，其中包括7张业务数据的事实表，17张业务数据的维度表，还有1张TPC-DS的系统表...
TPC-DS benchmark
2019-01-27 夜未深，，，今天给大家加个餐，，，貌似大家突然对TPC-DS的跑分有了兴趣。。。来分享一篇一...
Javaweb深入分析
. 深入分析
TPC-DS安装测试hive
目标：通过TPC-DS测试hive，内网安装tpcds，执行sql47对hive进行测试。参考链接：大数据测试解...
Spark2.1和2.2 SQL物理执行策略关键源码分析
1. 文章开始之前先附上一句SQL，使用tpc-ds的表结构，我们围绕这句SQL讲。 SQL： SQL> sel...
深入分析kube-batch（1）——启动过程
深入分析kube-batch（1）——启动从源码角度深入分析kube-batch code init，注册初始化...