95.TPC-DS的编译和使用

95.1 演示环境介绍

• root用户操作
• RedHat版本：7.3

95.2 操作演示

1.准备环境

• TPC-DS源码下载，下载至本地目录

http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp

• 将下载下来的v2.8.0rc4.zip文件解压至当前目录

[root@ip-186-31-16-68 ~]# unzip v2.8.0rc4.zip 

• 安装TPC-DS编译依赖环境

[root@ip-186-31-16-68 ~]# yum -y install gcc gcc-c++ expect

2.TPC-DS编译

• 进入解压好的v2.80rc4/tools目录下

[root@ip-186-31-16-68 v2.8.0rc4]# cd tools/
[root@ip-186-31-16-68 tools]# pwd
/root/v2.8.0rc4/tools

• 在该目录下执行命令编译TPC-DS

[root@ip-186-31-16-68 tools]# pwd
/root/v2.8.0rc4/tools
[root@ip-186-31-16-68 tools]# make

3.建表语句

• 进入/root/v2.8.0rc4/tools，查看tpcds.sql文件，该文件则是这些数据的基本建表语句

[root@ip-186-31-16-68 tools]# pwd
/root/v2.8.0rc4/tools
[root@ip-186-31-16-68 tools]# ll *.sql

4.生成测试数据

• 在tools目录是通过dsdgen命令生成指定量级的测试数据，可以通过并行的方式生成数据，可以指定数据的分隔符等，具体参数可以使用dsdgen –h来查看
• 进入/root/v2.8.0rc4/tools目录下执行如下命令生成测试数据
  • 这里指定的数据存放目录必须存在否则会报“Failed to open output file!”异常
  • SCALE：指定生成数据量大小如：100GB、200GB、1TB、100TB

[root@ip-186-31-16-68 tools]# mkdir /root/tpcdsdata
[root@ip-186-31-16-68 tools]# cd /root/v2.8.0rc4/tools/               
[root@ip-186-31-16-68 tools]# ./dsdgen -SCALE 1GB -DIR /root/tpcdsdata 

• 查看生成的表数据

[root@ip-186-31-16-68 tools]# ll /root/tpcdsdata/
[root@ip-186-31-16-68 tools]# cd /root/tpcdsdata/
[root@ip-186-31-16-68 tpcdsdata]# du -sh .

• 并行生成测试数据

[root@ip-186-31-16-68 tools]# ./dsdgen -SCALE 1GB -DIR /root/tpcdsdata -parallel 4 -child 4

5.模板生成查询语句

• 通过使用dsqgen命令根据TPC-DS提供的模板生成不同类型的SQL语句，TPC-DS默认支持以下模板：db2.tpl、netezza.tpl、oracle.tpl、sqlserver.tpl，如下使用方式：
  • 如使用Oracle来作为示例来生成Oracle的查询语句：

[root@ip-186-31-16-68 tools]# ./dsqgen -input ../query_templates/templates.lst -directory ../query_templates -dialect oracle -scale 1GB -OUTPUT_DIR /root/tpcdsdata/query_oracle

• 在生成query.sql文件时会报错，错误信息如下：

[root@ip-186-31-16-68 tools]# ./dsqgen -input ../query_templates/templates.lst -directory ../query_templates -dialect oracle -scale 1GB -OUTPUT_DIR /root/tpcdsdata/query_oracle
qgen2 Query Generator (Version 2.8.0)
Copyright Transaction Processing Performance Council (TPC) 2001 - 2018
Warning: This scale factor is valid for QUALIFICATION ONLY
ERROR: Substitution'_END' is used before being initialized at line 59 in ../query_templates/query3.tpl
[root@ip-186-31-16-68 tools]# 

• 需要手动的去修改tempalte_query目录下相应的模板，如query1.sql为例修改：

  
  

6.总结

• 利用TPC-DS工具可以很方便的生成指定数据量的测试数据
• 在使用建表语句时需要根据测试环境对建表语句作相应的修改
• 同样99条SQL查询语句也需要根据数据库类型进行相应的修改

大数据视频推荐：
腾讯课堂
CSDN
大数据语音推荐：
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通