美文网首页
大数据测试入门

大数据测试入门

作者: laoguigui2019 | 来源:发表于2019-10-09 10:58 被阅读0次
测试背景

公司是做贷款业务的,公司高层想知道业务发展情况,因此就有了各种指标和维度来反映,而这些指标和维度数据就需要从各个业务模块中获取,通过大数据组人员的清洗处理得到一个最终的交付指标维度。以一个大数据测试小白的角度来说一下我接触大数据后是如何测试的

测试前需要了解的

1、大数据的一些技术原理(hadoop/hive/airflow/etl等)
2、数据仓库的分层,我们公司有stg/ods/dw/dm这几层,stg的数据结构与业务表保持一致,ods与stg的数据基本保持一致,dw是清洗、规范化,提交一致化维度和事实的工作区,dm是用于交付的数据集市层,可用于维度分析和数据挖掘。
3.Sql能力的提升

如何测试

  • 单元测试:理解业务需求,对开发的代码进行逻辑分析,对于逻辑复杂的脚本,可以自己造测试数据进行单元测试,逻辑验证;
  • 抽样测试:大数据的数据量非常大,有时候进行全量测试花费时间太大,可以通过抽样测试来发现问题。
  • 通过对业务的理解来测试:比如字段的值算出来一定比另一个字段要大。
  • 写sql全量测:多表连接测试

相关文章

  • 大数据测试入门

    测试背景 公司是做贷款业务的,公司高层想知道业务发展情况,因此就有了各种指标和维度来反映,而这些指标和维度数据就需...

  • 北漂,十年(二)

    原文由《机器学习测试入门与实践》和《大数据测试技术与实践》的作者艾辉,发表于TesterHome社区,原文链接:h...

  • 大数据测试工程师入门级必备技能

    老生常谈大数据测试工程师,说来说去就那么几个内容! 关于大数据测试策略、大数据应用测试步骤、大数据测试流程等...

  • 测试文章3

    数据测试,无需点赞

  • 大数据工具Hadoop快速入门13大数据测试

    大数据是不能使用传统计算技术处理的大型数据集的集合。这些数据集的测试涉及各种工具,技术和框架。大数据涉及数据创建,...

  • TPC-DS在大数据中的使用

    大数据测试基准的选择 TPC-DS简介 编译hive-testbench 运行测试案例 大数据测试基准的选择 企业...

  • iOS自动化测试

    iOS自动化测试包括 UI测试 和数据测试两个方面。UI测试:UITest介绍 数据测试(行为驱动测试) 【行为驱...

  • 大数据测试学习笔记之测试工具集

    大数据测试学习笔记之测试工具集 本文主要记录大数据测试的一些基本工具,以便后续用的时候能深入的去学习。 Bigbe...

  • 如何设计高覆盖率的大数据测试用例?

    大数据测试除了需要保障业务功能正常,还需要对数据这个对象进行测试。根据小编摸索的一些经验,数据测试的本质=数据本身...

  • 数据测试

    电影评分数据 先下个小的数据集 Small: 100,000 ratings and 3,600 tag appl...

网友评论

      本文标题:大数据测试入门

      本文链接:https://www.haomeiwen.com/subject/qmaeyctx.html