数据中台 埋点

数据中台架构

对企业来说，搭建数据中台确实能够解决诸如数据管理混乱、数据量过大等问题，但建设数据中台毕竟是相当复杂的工程，产品团队在数据中台建设之初必须和开发团队就产品架构上详尽讨论并约定一致。 本人曾参与过数据中台的搭建过程，就个人的经验和理解而言，数据中台的架构设计是有迹可循的，基本上来说都分不开基础服务、数据收集、数据清洗整合、数据挖掘分析、数据服务管理和数据应用以及数据安全这七层。

基础服务：包含了底层存储、中间件等基础服务，这里主要是开发团队根据产品需求和成本来定。

数据收集：包含了数据源管理、数据采集、数据传输等数据接入服务。

数据清洗整合：包含了标签管理、元数据管理、数据仓库等。

数据挖掘分析：包含了算法模型、机器学习、行为分析、数据分析模型等。

数据服务管理：包含了数据权限管理、可视化管理、数据指标体系等。

数据应用：包含了BI 报表平台、数据营销、客户分析平台、用户画像等。

数据安全：包含了数据监控、数据加密、数据脱敏等。

数据中台是将企业的数据变成数据资产，并提供数据能力组件和运行机制的平台，简单来说就是数据集散中心，企业所有业务数据都经过数据中台的统一存储清洗和建模，转化为有用的数据资产，反哺给业务做决策参考。

埋点：

首先，所谓数据指标体系的落地，在这里指的就是数据埋点的过程。而不同于数据指标体系是产品经理可以独立去完成的事情，数据埋点是产研团队通力合作的事情。下图便是我对数据埋点落地流程的理解。

数据库是按照数据结构来组织、存储和管理数据的仓库，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。简单来说，数据库就是按结构存取数据的地方。

数据仓库

数据仓库（Data Warehouse）是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。

面向主题的：根据使用者的需求，将来自不同数据源的数据围绕着各种主题进行分类整合。

集成的：来自各种数据源的数据按照统一的标准集成于数仓中。

相对稳定的一系列的历史快照，不允许修改或删除，只涉及数据查询。

反映历史变化的 ：数仓会定期接收新的集成数据，从而反映出最新的数据变化。

在上述的数据埋点流程中，产品经理负责的所有事情里，最关键的莫过于输出埋点需求文档，这是所有工作的前提。而对于埋点的需求文档当中，要注意以下几点：

页面及页面元素的命名要统一

事件命名要规范

上报时机要明确

上报数据要完整

（一）页面及页面元素的命名要统一

产品中的所有页面及页面元素最好是有文档统一管理命名，以便后续每一次做数据埋点的时候能够统一使用，避免造成指标命名、事件命名不一致的情况。

（二）事件命名要规范

对于事件的命名，最好是团队内部有一个标准，比如可以是由页面、页面元素、行为和结果组成，如活动页面_报名按钮_点击_成功，这样的命名规范可以让所有人一目了然，看到事件名就知道具体是哪个页面哪个元素的事件。

其中，行为通常包含四种：点击、进入、展示、退出，结果无非就是成功和失败。

（三）上报时机要明确

上报时机主要有三类：

展示时候上报：需要明确重复展示是否重复上报；

点击时候上报；

接口响应时候上报：当后端接口返回结果时再上报。

（四）上报数据要完整

对于埋点最后要采集的数据，一定要做到不遗漏、不重复，确保地理位置信息（where）、时间信息（when）、设备信息和应用信息（what）、用户信息（who）以及行为信息（how）都要明确上报，并且要做好分类，方便团队成员更好地阅读埋点需求文档。

埋点是指在网站页面或者 APP 中需要采集用户行为数据的地方进行监测代码的写入的一种技术手段。通过埋点技术，我们可以采集到用户在网站或者 APP 上的行为数据，在将数据进行清洗建模之后可以在云端上进行呈现和数据分析。

说无埋点可能不太好理解，如果说“全埋点”的话，大家应该也能大概猜到它的技术原理了。无埋点，其实是在埋点的基础上演变过来的，只需要在首次使用时加载一段专门的基础代码，就会自动采集所有的事件。

因为是自动化的过程，通常无埋点都会遵循 4W1H 的数据格式对事件进行记录存储，也就是谁（who）在什么时候（when）哪个位置（where）用什么方式（how）做了什么（what）。

原因有几点：第一，最主要的是消耗资源，不是所有的用户行为数据都是有价值的，埋点的目的就是采集需要的数据，而无埋点会把任何数据都采集下来，这是非常消耗存储资源的事情；第二，并不是所有数据都能采集到，无埋点技术采集的是用户的行为数据，但是对于用户行为的对象或者结果是采集不到的，比如购买行为，无埋点技术只能采集到用户有购买行为，但不知道用户买了什么；第三，无埋点技术是基于 DOM 树来采集用户数据的，对于滑动、滚动的行为是采集不到的。

对于埋点技术，也不是什么缺点都没有，最主要的短板有两点：第一，无历史记录，埋点只能采集到植入代码之后的数据，而没办法像无埋点技术一般从开始就把数据都记录下来了；第二，埋点成本较高，需要在每个监测点都写好单独的事件监测代码，而且一旦上线发现有遗漏，还得重新发版，并且也会丢失一部分历史数据。

在现在的互联网技术时代，最好的数据采集方案其实是无埋点+埋点，无埋点作为基础，把所有基础事件都采集下来，埋点作为补充，把无埋点采集不到的数据补全，同时加上数仓建设，存储和利用埋点数据，一步一步搭建出企业内部的数据中台，用数据为业务赋能。