ETL测试数据仓库测试教程

作者: python测试开发 | 来源:发表于2019-06-16 23:08 被阅读33次

image.png

基于技术，流程和解决方案,在服务产品方面为客户提供了不同的产品系列，分布在许多领域， ETL或数据仓库是快速成功发展的产品之一。

ETL从源系统获取数据，根据业务规则进行转换，最后加载到目标系统（数据仓库）。数据仓库是企业范围的商店，其中包含有助于业务决策过程的集成数据。它是商业智能的一部分。

数据是任何组织中最重要的部分，它可能是日常数据或历史数据。数据是任何报告的基础，报告是所有重要管理决策的基准。

构建数据仓库，以存储和监控实时数据以及历史数据。制作高效的数据仓库并非易事。许多组织已经分布了使用分布式技术运行的不同应用程序。

使用ETL工具以便在来自不同部门的不同数据源之间进行完美的集成。 ETL从不同来源提取数据;根据业务转换规则将其转换为首选格式，并将其加载到已知的内聚数据库中，即数据仓库。

无论使用何种技术或ETL工具，ETL或数据仓库测试都分为四种不同的参与：

image.png

1）数据转换测试：根据各种业务要求和规则验证数据是否正确转换。

2）源到目的计数测试：确保目标中加载的记录数与预期计数匹配。

3）源数据目标数据测试：确保所有预计数据都加载到数据仓库中，没有任何数据丢失和截断。

4）数据质量测试：确保ETL应用程序适当拒绝，替换为默认值并报告无效数据。

5）性能测试：确保在规定的和预期的时间范围内将数据加载到数据仓库中，以确认改进的性能和可伸缩性。

6）生产验证测试：验证生产系统中的数据并将其与源数据进行比较。

7）数据集成测试：确保来自各种源的数据已正确加载到目标系统，并检查所有阈值。

8）应用程序迁移测试：在此测试中，确保ETL应用程序在移动到新的盒子或平台时工作正常。

9）数据和约束检查：在这种情况下测试数据类型，长度，索引，约束等。

10）重复数据检查：测试目标系统中是否存在任何重复数据。

除上述ETL测试方法外，还进行了系统集成测试，用户验收测试，增量测试，回归测试，重新测试和导航测试等其他测试方法，以确保一切顺利可靠。

要求了解
证实
测试评估：基于多个表，规则的复杂性，数据量和作业的性能。
测试计划：基于测试评估和业务需求的输入进行测试计划。我们需要在此确定范围内的内容和范围之外的内容。我们还会在此阶段寻找依赖关系，风险和缓解计划。
测试用例：从所有可用输入设计测试用例和测试场景。我们还需要设计映射文档和SQL脚本。
测试数据准备：一旦所有测试用例都准备好并获得批准，测试团队就会继续执行执行前检查和测试数据准备以进行测试。
-测试执行：最后，执行执行直到满足退出标准。因此，执行阶段包括运行ETL作业，监视作业运行，SQL脚本执行，缺陷日志记录，缺陷重新测试和回归测试。
测试报告：成功完成后，将编写摘要报告并完成关闭过程。在此阶段，将签名以将作业或代码提升到下一阶段。