数据采集03

作者: Nefelibatas | 来源:发表于2022-04-11 10:59 被阅读0次

    埋点规范制定

    举个例子:某工程师给双十一活动页面命名时,采用的是拼音与英文相结合的方式,而这种不规范的埋点会让实施人员产生混淆,最终出现错误埋点。埋点规范的价值就在于帮助我们快速理解业务需求,并高效落地埋点方案。

    在埋点规范制定过程中,我们通常需要遵循以下三点原则:

    上报内容格式清晰、简单,目标易于统计和使用;

    各端各推荐位置上报的请求曝光内容、可见曝光内容、点击内容、自动播放格式统一;

    所有推荐的内容类型编号,业务需要进行统一编排和维表维护,从请求曝光——>可见曝光——>点击——>落地页这四个阶段均需要保持一致。

    埋点实施

    埋点规范是埋点实施的前置约束,在埋点实施时,我们需要严格按照埋点规范实施埋点,其中,需要注意三个要点。

    明确事件上报的条件:比如请求曝光时,在埋点规范中明确注明请求成功后立即上报还是在曝光页面停留超过一定时长后再上报等问题。

    明确字段参数的数据源:通常埋点同学对数据敏感度差,为了防止数据取错,就要求与埋点同学一起明确每个参数的正确取数位置。

    数据采集流程:

    数据上报后,为方便数据仓库同学高效、便捷地处理日志,需要明确每种数据的格式,因为非标准的格式会耗费大量的时间和精力处理格式。

    数据上报

    埋点完备且上报的数据经过数据仓库处理后就可以直接被应用了。

    数据统计

    数据统计是非常重要、非常基础的数据应用,例如推荐系统的转化率指标( CTR),它是通过点击数/可见曝光数来计算的。在这个公式中,我们发现如果没有点击事件和可见曝光事件的数据埋点,就不可能产生 CTR 这个数据,推荐系统的效果也就很难量化评估。

    埋点验收

    在埋点验收阶段需要验收所有推荐位置、每个位置下的所有参数、每个参数的数据格式。除此之外,我们还需要将不同数据进行连接,把不同系统的数据以报表的形式展现,并对数据的有效性和准确性进行验证。

    总结一下数据采集的整个流程:

    首先,需要对收集哪些数据进行需求梳理,并建立埋点规范;

    其次,依据埋点规范实施数据埋点;

    然后,接收实际上报的数据,并落入数据仓库;

    紧接着,在数据仓库中生成满足业务需求的数据表;

    最后,对数据埋点进行验收。

    相关文章

      网友评论

        本文标题:数据采集03

        本文链接:https://www.haomeiwen.com/subject/yssisrtx.html