美文网首页
布隆过滤器

布隆过滤器

作者: zhangsean | 来源:发表于2020-01-04 10:42 被阅读0次

    普通

    实践

    1. k和m选择
    img
    1. 哈希函数要计算快速:推荐 MurmurHash、Fnv

    2. 大Value拆分 : 体积庞大的布隆过滤器要拆分成小的 ,拆分之后,同一个key的所有哈希函数要落到同一个小bitmap上

    参考:

    Bloom Filters - the math

    Bloom_filter-wikipedia

    大数据量下的集合过滤—Bloom Filter

    Murmur哈希

    应用

    1. 爬虫过滤已经抓到的url就不再抓

    2. 垃圾邮件过滤

    3. 缓存穿透

    计数

    觉得不太实用,需要用再查。

    实现

    hutool的实现

    添加

    1. 传入的参数用所有的hash函数生成一个hash数组

    2. 在bitSet中把hash数组代表的位置都设为1

    包含

    1. 传入的参数用所有的hash函数生成一个hash数组

    2. 判断在bitSet中这些位置是否都未1

    相关文章

      网友评论

          本文标题:布隆过滤器

          本文链接:https://www.haomeiwen.com/subject/gpyxactx.html