美文网首页
布隆过滤器

布隆过滤器

作者: zhangsean | 来源:发表于2020-01-04 10:42 被阅读0次

普通

实践

  1. k和m选择
img
  1. 哈希函数要计算快速:推荐 MurmurHash、Fnv

  2. 大Value拆分 : 体积庞大的布隆过滤器要拆分成小的 ,拆分之后,同一个key的所有哈希函数要落到同一个小bitmap上

参考:

Bloom Filters - the math

Bloom_filter-wikipedia

大数据量下的集合过滤—Bloom Filter

Murmur哈希

应用

  1. 爬虫过滤已经抓到的url就不再抓

  2. 垃圾邮件过滤

  3. 缓存穿透

计数

觉得不太实用,需要用再查。

实现

hutool的实现

添加

  1. 传入的参数用所有的hash函数生成一个hash数组

  2. 在bitSet中把hash数组代表的位置都设为1

包含

  1. 传入的参数用所有的hash函数生成一个hash数组

  2. 判断在bitSet中这些位置是否都未1

相关文章

网友评论

      本文标题:布隆过滤器

      本文链接:https://www.haomeiwen.com/subject/gpyxactx.html