美文网首页
在MaxCompute中利用bitmap进行数据处理

在MaxCompute中利用bitmap进行数据处理

作者: 暖忆_ | 来源:发表于2019-08-07 15:48 被阅读0次

    很多数据开发者使用bitmap技术对用户数据进行编码和压缩,然后利用bitmap的与/或/非的极速处理速度,实现类似用户画像标签的人群筛选、运营分析的7日活跃等分析。

    本文给出了一个使用MaxCompute MapReduce开发一个对不同日期活跃用户ID进行bitmap编码和计算的样例。供感兴趣的用户进一步了解、分析,并应用在自己的场景下。

    对Java应用打包后,上传到MaxCompute项目中,即可在MaxCompute中调用该MR作业,对输入表的数据按日期作为key进行用户id的编码,同时按照相同日期对bitmap后的用户id取OR操作(根据需要可以取AND,例如存留场景),并将处理后的数据写入目标结构表当中供后续处理使用。

    相关文章

      网友评论

          本文标题:在MaxCompute中利用bitmap进行数据处理

          本文链接:https://www.haomeiwen.com/subject/janodctx.html