美文网首页前后分离
数据采集与埋点

数据采集与埋点

作者: 十一吖_cb39 | 来源:发表于2021-07-18 12:33 被阅读0次

1) 什么是埋点

埋点技术是一种数据采集技术,特指针对用户行为或时间进行捕获、处理和上报的相关技术及其实施过程。

2) 埋点模型

埋点模型采用的是事件模型,事件模型描述了一个人做某件事情所需要的几个重点要素:人物(who)、时间(when)、地点(where)、途径(how)、结果(what),完成对每个事件的维度/属性/字段的采集,对事件的发生形成一个快照.

3) 埋点分类

按端口主要分为: 1.Web埋点 2.APP埋点 3.接口埋点

  1. Web埋点主要是通过先在Web页面上注入一段Javascript代码,然后对收集的数据进行上报的技术. Web埋点技术经历了网页信息、增加Cookie、增加事件三个阶段,在大数据运营之后,Web埋点更多的关注事件,同时上报用户信息,这样可以对用户兴趣点进行挖掘。
  2. APP埋点是通过在代码中注入一段特殊的代码或者引入一个SDK,对APP中的信息进行收集的一种技术.
  3. 接口埋点不同于其他埋点,它不是通过数据库系统直接存储,而是通过日志系统存储,然后通过ETL保存到数据仓库. (用于实时接口的监控,快速发现接口的异常. 如运维的报警系统很多都是接口埋点实现的)

按是否可视化分为:1. 代码埋点 2.可视化埋点(全埋点/无埋点)

  1. 代码埋点:代码埋点是根据具体埋点需求进行数据采集的方式,分为前端代码埋点和后端代码埋点. 前端代码埋点在前端里嵌入SDK代码,对于每一个关键行为,我们需要调用SDK代码,将必要的事件名,属性字段等写入代码,然后发送到后台服务器.后端代码埋点则将相关事件和属性通过后端模块调用SDK的方式,发送到后台服务器. 前端埋点主要采集用户行为,后端埋点更多采集的是业务数据。
  2. 可视化埋点(全埋点/无埋点) : 全埋点类似于前端埋点,不同的是,全埋点通过对前端界面配置的方式对关键行为进行定义完成圈选过程, 引用SDK, 接下来就会自动完成全面采集.
    更多细节参考:https://growingio.kf5.com/hc/kb/article/1336131/
    https://www.cnblogs.com/fakeCoder/p/9900595.htm

数据采集除了埋点,还有一个方法是导入辅助工具,为了减少系统耦合性,我们还可采集日志,数据库的方式生成数据,然后对数据进行转换,通过实时或批量工具完成数据导入.(例如将日志格式的数据通过Logagent模块实时传入后台服务器,也会采用分布式抓取的方式,定时将数据从源头下载到数据服务器)

4) 埋点方式的对比

代码埋点和全埋点比较: image.png
前端埋点和后端埋点比较: image.png

5) 埋点技术的选择

公司刚启动,技术人员少,人员流动大,公司初步扩张中,尚未进入精细化运营阶段。可以选择无埋点技术。
项目在天使轮阶段之后的融资阶段,业务复杂度高,App应用的技术多样。使用有埋点技术。
公司流量巨大,业务复杂度高。需要有埋点技术和无埋点技术联合使用。对无埋点技术也要进行一定的修改,上报阶段要通过后台配置项进行配置上报。

为了埋点数据全&准的两个准则,一般可以采取两种方式组合的方式,重点业务、非重点页面采用代码埋点,重点页面非重点业务采用无埋点,合理分配两种埋点策略做到不丢不漏在合理的维护成本范围内,尽可能多而全的采集。

6) 埋点上报如何做到全面

以UI设计为底,以业务价值为依据,以事件为起点,以'要义'为目标进行埋点,就可以保证目标收集的必要和全面

  1. 依赖交互设计图,任何有交互的元素都要考虑是否埋点. 决定是否埋点的依据是这个交互是否有业务意义.有意义就埋.
  2. 以事件驱动,需要上报的信息包括事件本身,触发事件的用户信息(包含设备信息),以及触发元素本身所在实体(对于客观世界物体的抽象)的信息. 如我们在电商平台收藏一个商品,那么点击收藏的这个点击事件就是我们要埋的点.

相关文章

  • 数据采集与埋点

    在这篇文章里面,我们会对数据采集的一些基本概念进行阐述,然后,会针对目前市面上新增的一些前端埋点技术,如可视化埋点...

  • 数据采集与埋点

    part 1 主流互联网数据加工流程 一、什么是埋点 1.主要用来记录和收集终端用户的操作行为 2.当用户行为满足...

  • 数据采集与埋点

    1) 什么是埋点 埋点技术是一种数据采集技术,特指针对用户行为或时间进行捕获、处理和上报的相关技术及其实施过程。 ...

  • 数据运营(6)数据采集

    数据采集的重要性不言而喻。 一、数据采集方案 目前有三种常见的数据采集方案,分别是埋点、可视化埋点、无埋点。 1....

  • 数据埋点和指标字典

    数据埋点 数据埋点是一种常用的数据采集方法,埋点是数据的来源,采集数据以帮助业务人员分析网站或者app的使用...

  • 【埋点学习系列】02如何设计数据埋点方案

    数据埋点是数据采集的关键一环,目前的数据采集方式归结为可视化 / 全埋点、代码埋点三类。 可视化 / 全埋点 使用...

  • 日志埋点系统的架构与实现

    1. 埋点的意义 1.1 什么是埋点? 所谓“埋点”,是数据采集领域(尤其是用户行为数据采集领域)的术语。指的是针...

  • 数据分析师之必备技能之一数据埋点

    数据埋点是一种移动端APP常规的数据采集方法,先解释下什么是埋点? 埋点是数据采集的一种方法,将移动A...

  • Android无埋点的技术选型之路

    数极客是国内新一代用户行为分析平台,支持无埋点采集,前端代码埋点采集,后端代码埋点采集等多种混合数据采集方式,支持...

  • 揭秘数极客Android无埋点数据采集原理

    数据采集基本可分为代码埋点和无埋点。近年来无埋点的数据采集方案越来越普及,而无埋点的实现方案也有多种,我们今天讨论...

网友评论

    本文标题:数据采集与埋点

    本文链接:https://www.haomeiwen.com/subject/ukgopltx.html