美文网首页
数据仓库:数据生成 & 前端埋点

数据仓库:数据生成 & 前端埋点

作者: dex0423 | 来源:发表于2020-12-03 23:07 被阅读0次

公共字段

  • 基本的设备(手机 / PC / PAD等)都有的字段;
    -- 示例:
"cm": {  //公共字段
        "mid": "",  // (String) 设备唯一标识
        "uid": "",  // (String) 用户标识
        "vc": "1",  // (String) versionCode,程序版本号
        "vn": "1.0",  // (String) versionName,程序版本名
        "l": "zh",  // (String) 系统语言
        "sr": "",  // (String) 渠道号,应用从哪个渠道来的。
        "os": "7.1.1",  // (String) Android系统版本
        "ar": "CN",  // (String) 区域
        "md": "BBB100-1",  // (String) 手机型号
        "ba": "blackberry",  // (String) 手机品牌
        "sv": "V2.2.1",  // (String) sdkVersion
        "g": "",  // (String) gmail
        "hw": "1620x1080",  // (String) heightXwidth,屏幕宽高
        "t": "1506047606608",  // (String) 客户端日志产生时的时间
        "nw": "WIFI",  // (String) 网络模式
        "ln": 0,  // (double) lng经度
        "la": 0  // (double) lat 纬度
    },

事件日志

注意
-- 事件日志,采用 批处理 方式,而不采用 实时处理,以减轻对于日志服务器的压力。多数企业都是做批处理,实时处理典型的用户是 今日头条

-- 需要预留 extend 扩展字段,以应对业务需求!

  • 列表页 loading
action 动作:开始加载=1,加载成功=2,加载失败=3 
loading_time 加载时长:计算下拉开始到接口返回数据的时间,(开始加载报 0,加载成 功或加载失败才上报时间) 
loading_way 加载类型:1-读取缓存,2-从接口拉新数据 (加载成功才上报加载类型) 
extend1:  扩展字段 Extend1 
extend2:  扩展字段 Extend2 
type 加载类型:自动加载=1,用户下拽加载=2,底部加载=3(底部条触发点击)
  • 商品点击 display
action 动作:曝光商品=1,点击商品=2, 
goodsid 商品 ID(服务端下发的 ID) 
place 顺序(第几条商品,第一条为 0,第二条为 1,如此类推) 
extend1 曝光类型:1 - 首次曝光 2-重复曝光 
category 分类 ID(服务端定义的分类 ID)
  • 商品详情页
entry 页面入口来源:应用首页=1、push=2、详情页相关推荐=3 
action 动作:开始加载=1,加载成功=2(pv),加载失败=3, 退出页面=4 
goodsid 商品 ID(服务端下发的 ID) 
show_style 商品样式:0、无图、1、一张大图、2、两张图、3、三张小图、4、一张小图、 5、一张大图两张小图 
news_staytime 页面停留时长:从商品开始加载时开始计算,到用户关闭页面所用的时间。 若中途用跳转到其它页面了,则暂停计时,待回到详情页时恢复计时。或中 途划出的时间超过 10 分钟,则本次计时作废,不上报本次数据。如未加载成 功退出,则报空。 
loading_time 加载时长:计算页面开始加载到接口返回数据的时间 (开始加载报 0,加载 成功或加载失败才上报时间) 
type1 加载失败码:把加载失败状态码报回来(报空为加载成功,没有失败) 
category 分类 ID(服务端定义的分类 ID)
  • 广告
entry 入口:商品列表页=1 应用首页=2 商品详情页=3 
action 动作: 广告展示=1 广告点击=2 
contentType Type: 1 商品 2 营销活动 
displayMills 展示时长 毫秒数 
itemId 商品 id 
activityId 营销活动 id
  • 消息通知
action 动作:通知产生=1,通知弹出=2,通知点击=3,常驻通知展示(不重复上 报,一天之内只报一次)=4 
type 通知 id:预警通知=1,天气预报(早=2,晚=3),常驻=4 
ap_time 客户端弹出时间 
content 备用字段
  • 后台活跃
active_source 1=upgrade,2=download(下载),3=plugin_upgrade
  • 评论
序号 字段名称 字段描述 字段类型 长度 允许空 缺省值
1 comment_id 评论表 int 10,0 
2 userid 用户 id int 10,0 √ 0 
3 p_comment_id 父级评论 id(为 0 则是一级评论,不 为 0 则是回复) int 10,0 √ 
4 content 评论内容 string 1000 √ 
5 addtime 创建时间 string √ 
6 other_id 评论的相关 id int 10,0 √ 
7 praise_count 点赞数量 int 10,0 √ 0 
8 reply_count 回复数量 int 10,0 √ 0
  • 收藏
序号 字段名称 字段描述 字段类型 长度 允许空 缺省值 
1 id 主键 int 10,0 
2 course_id 商品 id int 10,0 √ 0 
3 userid 用户 ID int 10,0 √ 0 
4 add_time 创建时间 string √
  • 点赞
序号 字段名称 字段描述 字段类型 长度 允许空 缺省值 
1 id 主键 id int 10,0 
2 userid 用户 id int 10,0 √ 
3 target_id 点赞的对象 id int 10,0 √ 
4 type 点赞类型 1 问答点赞 2 问答评论 点赞 3 文章点赞数 4 评论点赞 int 10,0 √ 
5 add_time 添加时间 string √
  • 错误日志
errorBrief 错误摘要 
errorDetail 错误详情
  • 启动日志
entry 入 口 : push=1 , widget=2 , icon=3 , notification=4, lockscreen_widget =5 
open_ad_type 开屏广告类型: 开屏原生广告=1, 开屏插屏广告=2 
action 状态:成功=1 失败=2 
loading_time 加载时长:计算下拉开始到接口返回数据的时间,(开始加载报 0,加载成 功或加载失败才上报时间) 
detail 失败码(没有则上报空) 
extend1 失败的 
message(没有则上报空) 
en 日志类型

-- 启动日志示例:

{ 
    "action":"1", 
    "ar":"MX", 
    "ba":"HTC", 
    "detail":"", 
    "en":"start", 
    "entry":"2", 
    "extend1":"", 
    "g":"43R2SEQX@gmail.com", 
    "hw":"640*960", 
    "l":"en",
    "la":"20.4", 
    "ln":"-99.3", 
    "loading_time":"2", 
    "md":"HTC-2", 
    "mid":"995", 
    "nw":"4G", 
    "open_ad_type":"2", 
    "os":"8.1.2", 
    "sr":"B", 
    "sv":"V2.0.6", 
    "t":"1561472502444", 
    "uid":"995", 
    "vc":"10", 
    "vn":"1.3.4" 
}
  • 事件埋点示例:
"et":  [  //事件
            {
                "ett": "1506047605364",  //客户端事件产生时间
                "en": "display",  //事件名称  启动和事件日志是根据事件名称的不同
                "kv": {  //事件结果,以key-value形式自行定义
                    "goodsid": "236",
                    "action": "1",
                    "extend1": "1",
"place": "2",
"category": "75"
                }
            }
        ]
}

相关文章

  • 数据仓库:数据生成 & 前端埋点

    公共字段 基本的设备(手机 / PC / PAD等)都有的字段;-- 示例: 事件日志 注意:-- 事件日志,采用...

  • web 埋点

    数据埋点是什么?设置数据埋点的意义?web 埋点实现原理了解一下 前端监控和前端埋点方案设计美团点评前端无痕埋点实践

  • Python3数据分析与挖掘建模实战 笔记

    第2章 数据获取 数据获取手段: 数据仓库 监测与抓取 填写、埋点、日志 计算 数据仓库 将所有业务数据经汇总处理...

  • 数据分析与建模挖掘- 数据获取

    数据获取手段 数据仓库 检测与抓取 填写 日志 埋点 计算 数据仓库 分析仅靠运行的数据库无法完成 数据更改 减少...

  • 前端监控和前端埋点方案概述

    前端埋点主要是为了服务运营人员采集用户行为数据,进行后续的数据分析工作。 前端监控和埋点能做什么 数据监控(用户行...

  • 前端埋点方案与链路追踪实现拓扑图

    一、为什么需要前端埋点 前端数据埋点的目的是: 获取用户行为以及跟踪产品在用户端的使用情况,并以监控数据为基础,指...

  • 数据仓库的一些简单概念

    1、典型的数据仓库系统包括以下几个部分: 数据源ETL(数据抽取、转换和加载)数据仓库数据集市前端展示(包括报表、...

  • 前端埋点-报错监控

    说起埋点又到了谈起前端项目中数据收集与监控,那么今天来简单的聊下前端报错监控的埋点。 首先先安利下自己做的报错监控...

  • 数据分析之埋点--------->Javascript 前端埋点

    因为往往我们都无法保证数据组与业务需求一致, 所以往往会写出侵入式的打点逻辑。 为了让业务逻辑与埋点逻辑彻底解耦,...

  • 项目需求分析

    1.采集埋点日志数据 2.采集业务数据库中的数据 3.数据仓库的搭建(用户行为数仓,业务数仓) 4.分析统计业务指...

网友评论

      本文标题:数据仓库:数据生成 & 前端埋点

      本文链接:https://www.haomeiwen.com/subject/ychhwktx.html