数据人经常会成为各种问题的咨询点,很多的运维工作还是很耗精力却也是必不可少的。
数据异常排查
数据异常是我们常常会遇到,有时候也是需要遇到的。无论是增长或者降低都是隐藏着问题的。同时,我们的质变般提升也需要通过“找亮点”才能达到。什么是找亮点,意义在哪里。这个还得举个之前瞬变的例子:
1990年,杰里·斯特宁被国际慈善组织派到越南去解决越南儿童的营养不良问题。但他到了越南才发现没钱、没人、没资源。并被总部要求半年之内做出成绩。在这种情况下很多人建议他写份报告就回美国。告诉组织,越南需要先发展经济,然后发展教育,母亲们的素质提高了,孩子的营养问题才能解决(这就是正确的废话,生活中到处都是)。我想,绝大多数人遇到这种情况也多半会这么做吧。做一些正确的没有用的事情、说一些正确的没有用的话。最终用一下徒劳的行为掩盖完全无用的事实。
斯特宁没有这么做,他拿着尺子下了乡。经过测量,选出了家里又穷身体又健康的孩子们。然后去调研,发现这些孩子家里都吃四顿饭,妈妈会去稻田抓小鱼小虾给孩子吃,还把番薯叶的汁淋在饭上一起蒸。于是斯特宁在村里带着母亲们一起做饭,就用这几招。6个月后,当地65%的儿童营养问题得到改善,并持续下去。即使最差的环境下都会是有正态分布的,总有好的点可以去看到。
数据人就需要 这种找亮点的能力和精神。
我们先看下数据异常排查的背景,一般情况下,一线互联网公司数据产品 DAU 都比较大,动辄几百万上千万,甚至过亿,因此业务方和管理层每天都会盯着核心数据,而在这些核心数据中肯定会有一些数据是波动比较大的。这时,分析师需要对这些波动进行排查并解释原因,如果没有一套方法论面对问题就会很头痛,你可以回想下自己是否面对过这种情况,每天早上面对波动数据无从下手,找不到原因,解决不了,进而浪费很多时间做了很多无用功,感觉永无出头之日。
实际上,数据有较大波动,无非就两个原因:
一是目前数据本身有问题;
二是业务本身有问题。
如果能够透过问题看本质,你就可以在数据波动方面成为专家。当然数据异常排查是需要一些前期准备的:
业务理解+指标口径+当前数据产出过程。
第一个业务理解,比如某个 App 的 DAU 低于1000w,那么请问这个 DAU 代表的是什么行动的DAU,是在进程中还是需要打开 App,还是必须有主动行为,这理解起来是不一样的。第二个指标口径,同样是 DAU 一千万,是 Android 还是所有系统。第三个产出过程,对于 DAU 一千万目前是由哪份日志做了哪些数据清洗计算出来的,只有了解清楚这些才能够开始异常排查。
举个例子,市场部领导看了某一张日活数据和你提供的数据相差较大,就来询问是怎么回事。实际上这时你首先需要弄清楚他看到的数据表是怎样产出的,然后指标口径是什么,指标的业务含义是什么,只有熟悉这些情况后才能分析出产生差异的原因。实际工作中,有些分析师在进入一家公司时产品已经比较成熟,但指标口径没有文档化,所以可能对业务理解不深,这个时候面对领导的提问就会手足无措,一旦不能解决问题就会失去信任,所以前期准备工作一定要做好。
这是一个口径为王的时代。业内都有说法,三大运营商就没有完不成的指标,大不了口径变一下咯~
网友评论