美文网首页
数据测试(质量检测)

数据测试(质量检测)

作者: warManHy | 来源:发表于2021-01-13 23:28 被阅读0次

    数据质检:对于数据进行质量检测,主要包括数据规格,数据和服务的兼容性;测试时需要主要数据的筛选,数据测试时间,数据在服务应用影响范围;

    举例:在地图导航业务中,全国范围内的数据几乎每天都会进行制作编译上线,就会有数据的变更;
    质检需要关注粗略有:

    1. 数据规格:正常的话是在数据团队自己也会测试,但是服务一般使用数据会经过编译等方式,原数据在服务应用的规格需要测试
    2. 服务加载数据:服务是否可以正确加载新数据
    3. 服务功能一致性:新数据加载后,服务功能是否稳定
    4. 新增数据专项测试: 新旧数据diff出,根据业务形式测试

    当然以上测试和大家所谓大数据测试还有所不同,大数据测试一般是利用集群进行分布式计算汇聚,以上测试的数据规格测试也可以跑集群任务,但是我认为这样太暴力,没有将数据和服务业务整合理解,浪费资源,毕竟机器成本也是一个工程师需要关注的,好的方案可以节约成本。

    接下来谈一下我认为具备哪些能力可以更加胜任以上工作:

    1. 服务业务熟悉:业务架构,数据上下游关系,数据在服务应用
    2. 服务测试方式整体架构熟悉:如何构造自动化请求,如何性能压测,如何数据diff。。。
    3. 一定的编码能力:构建高可用的服务进行质检,例如python分布式框架,多进程,正则,sql,hadoop任务等。
    4. 良好的沟通能力:和不同人交流,很重要。
    5. 良好的心态

    当然以上也是我需要慢慢加强的。

    相关文章

      网友评论

          本文标题:数据测试(质量检测)

          本文链接:https://www.haomeiwen.com/subject/vwcmaktx.html