大数据测试入门

测试背景

公司是做贷款业务的，公司高层想知道业务发展情况，因此就有了各种指标和维度来反映，而这些指标和维度数据就需要从各个业务模块中获取，通过大数据组人员的清洗处理得到一个最终的交付指标维度。以一个大数据测试小白的角度来说一下我接触大数据后是如何测试的

测试前需要了解的

1、大数据的一些技术原理（hadoop/hive/airflow/etl等）
2、数据仓库的分层，我们公司有stg/ods/dw/dm这几层，stg的数据结构与业务表保持一致，ods与stg的数据基本保持一致，dw是清洗、规范化，提交一致化维度和事实的工作区，dm是用于交付的数据集市层，可用于维度分析和数据挖掘。
3.Sql能力的提升

如何测试

• 单元测试：理解业务需求，对开发的代码进行逻辑分析，对于逻辑复杂的脚本，可以自己造测试数据进行单元测试，逻辑验证；
• 抽样测试：大数据的数据量非常大，有时候进行全量测试花费时间太大，可以通过抽样测试来发现问题。
• 通过对业务的理解来测试：比如字段的值算出来一定比另一个字段要大。
• 写sql全量测：多表连接测试