美文网首页
redis 学习(14)-- HyperLogLog

redis 学习(14)-- HyperLogLog

作者: 希希里之海 | 来源:发表于2019-06-02 17:44 被阅读0次

    HyperLogLog

    什么是 HyperLogLog

    HyperLogLog 是基于 HyperLogLog 算法的一种数据结构,该算法可以在极小空间完成独立数量统计。

    在本质上还是字符串类型。

    重要 API

    命令 含义
    pfadd key element1 [element2...] 向HyperLogLog中添加元素
    pfcount key1 [key2...] 计算HyperLogLog的独立总数
    pfmerge destKey key1 [key2...] 合并多个hyperLogLog到destKey中

    演示

    内存消耗

    以百万独立用户为例

    elements = ""
    key = "2019_06_02:unique:ids"
    for i in `seq 1 1000000`
    do 
      elements = "${elements} uuid-"${i}
      if [[$((i%1000)) == 0 ]]
      then
        redis-cli pfadd ${key}${elements}
        elements = ""
      fi
     done
    
    内存消耗
    1 天 15 KB
    1 个月 450 KB
    1 年 15KB * 365 = 5 MB

    可以看到内存消耗是非常低的,比我们之前学过的 BitMap 还要低得多。

    使用经验

    Q:既然 HyperLogLog 那么好,那么是不是以后用这个来存储数据就行了呢?

    A:这里要考虑两个因素:

    1. hyperloglog 的错误率为:0.81%,存储的数据不能百分百准确。
    2. hyperloglog 不能取出单条数据。api 中也没有相关操作。

    如果你没有这两个方面的顾虑,那么用 HyperLogLog 来存储大规模数据,还是非常不错的。

    相关文章

      网友评论

          本文标题:redis 学习(14)-- HyperLogLog

          本文链接:https://www.haomeiwen.com/subject/jenxxctx.html