行为采集 之 微信端如何做IdMapping

背景

目前微信端月活已经超过11亿，借助微信生态起家的公司不计其数；易企秀作品访客日志90%是微信端贡献的，每天3-4千万的pv访问量, 如果只是通过cookieId去标记用户 显然质量不高，如何构建访客唯一标识，沉淀更多访客信息将是数据中台重点。

情景描述

一般cookieId的生命周期为1-2个月，用户端切换账号、主动清楚cookie以及微信app重新安装都会导致cookie的丢失，为了能更多的检索出访客的历史数据，这里又引入了两个新的访客标识：帆布指纹、微信OpenId

• 微信OpenId
  微信OpenId可以打通多端，多平台的访客数据；假如一个用户在手机上访问了作品A，在pad上访问了作品B，又在手机上打开了易企秀秀推小程序，传统的cookie定位方式会认为是3个用户在操作，而在微信端进行静默授权后获取到的openId是唯一的。

• 帆布指纹
  帆布指纹是调用用户端设备环境进行图形渲染后hash出的字符串，如果用户端设备环境不变，即便用户清楚cookie信息 下次还能通过同样的方式再次得到，这种方式可打通同一设备多公号授权的访客信息，以及cookie清除后也能快速找回，但当浏览器内核升级、app升级以及手机系统升级都可能导致帆布指纹的变动。

构建方式

IdMapping是一种建立在两种标识之间的桥梁，通过idmapping的构建可长久定位微信端访客数据；以一个例子进行描述，当用户访问一个没有开启授权功能的作品A时，首先会从作品A获取帆布指纹Id(以下简称c_i)，并将c_i作为主键存储到ES的vectors索引里，同一设备再次访问开启授权功能的作品B时会获取c_i + openId，并对库里已有数据更新，每天凌晨还会通过spark程序遍历visitors库中最近一个月有行为的数据并进行聚合，将相同c_i下的openid合并，继续通过相同openid拉取所有的c_i合并至c_i_s

数据结构如下：

PUT visitors
{
  "mappings" : {
      "dynamic_templates" : [
        {
          "strings" : {
            "match_mapping_type" : "string",
            "mapping" : {
              "doc_values" : false,
              "norms" : false,
              "type" : "keyword"
            }
          }
        }
      ],
      "date_detection" : false,
      "properties" : {
        "c_i" : {
          "type" : "keyword",
          "doc_values" : false
        },
        "o_n_n" : { #微信昵称
          "type" : "keyword",
          "doc_values" : false
        },
        "o_url" : {  #微信头像
          "type" : "keyword",
          "doc_values" : false
        },
       "o_sex" : {
          "type" : "keyword",
          "doc_values" : false
        },
       
        "o_i_s" : {   #公号类型 openid 
          "type" : "nested" 
        },
       "c_i_s" : {    #最近更新时间 帆布id  按时间倒序排列取top
          "type" : "nested" 
        },
        "ip_s" : {    #最近更新时间 ip  按时间倒序排列取top
          "type" : "nested" 
        }, 
        "up_time" : {   #更新时间
          "type" : "date",
          "format" : "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
        }
      }
    },
    "settings" : {
      "index" : {
        "refresh_interval" : "-1",
        "translog" : {
          "flush_threshold_size" : "2024mb",
          "sync_interval" : "1200s",
          "durability" : "async"
        },
        "store" : {
          "type" : "niofs"
        },
        "unassigned" : {
          "node_left" : {
            "delayed_timeout" : "1d"
          }
        },
        "number_of_replicas" : "1",
        "codec" : "best_compression",
        "search" : {
          "slowlog" : {
            "level" : "info",
            "threshold" : {
              "fetch" : {
                "info" : "500ms"
              },
              "query" : {
                "info" : "1s"
              }
            }
          }
        },
        "number_of_shards" : "10"
      }
    }
}

此处差一张图 流程图TOO

如何获取访客历史记录

用户访问日志中依然以c_i作为标识，当要获取访客历史访问记录时，需根据当前c_i获取全量c_i_s，然后根据c_i列表去行为日志库中检索当前用户所有访问记录。
访客用户数据一年大约有10亿c_i，数据最多保留1年，up_time超出一年的数据会被从ES库中清楚，并归档到hdfs，至于10亿访客文档数据的读写优化会在下一篇文章中介绍。