布隆过滤器实现

布隆过滤器就是利用的 bit

整体思想就是 
1个2进制的  bit数组
和多个不同算法的hash
怎么整呢
就是比如 
我有16个bit相当于2个字节  因为1个字节是8位 这个肯定大家都知道
因为bit只能是 0 或者1   在因为布隆过滤器的思想就是判断存过的key是否存在
所以就简单了 就是整一堆2进制bit数组

0 0 0 0    0 0 0 0    这是8位bit    数组肯定有下标 
如果我存的key是  “中国”
上面讲了有多个hash算法 那既然是多个hash算法对 “中国”  hash肯定就得出来的数不一样
比如 hash1算法(中国) =2      hash2算法(中国)=5 
那么存的结果就是
0 0 0 1    0 0 1 0  第二位和第五位就都变成1了  ps我不确定bit数组下标从0开始还是1开始所以就 假设他从1开始
所以在判断中国存在不存在的时候 就根据两次hash算法去对应的下标看是不是1, 如果是0肯定就没有 
如果都是1 也不一定 就有 。   为什么这么说 因为多个hash算法就是为了避免hash碰撞,但是我们学过hashmap都了解hash是肯定会碰撞的 所以 遇到  其他的key刚好和你碰撞了 就会进行误判了  所以 布隆过滤器主要是解决判断这个这个key是否存储过,如果多个hash的结果只要有一个bit位置是0那么这个key肯定就没有布隆过滤器这个可以做的非常好   但是你得业务要是 对误判可以接受那你可以判断他是否有。下面给出本地实现和分布式实现。


ps 布隆过滤器最大的缺点就是 没法删除单独的key为什么 因为你删除了 你肯定就是把bit 设置成0 但是如果hash碰撞了 你设置成0了  就会影响其他的key了所以不能删除
在一个就是误判了 这个是我们可以预料到的。

1.本地布隆过滤器

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>20.0</version>
</dependency>


int expectedInsertions = 1000000; //预期插入多少个需要判断的key
double fpp = 0.01; //错误率 底层估计是 根据错误率去算需要多少位 肯定错误率越低占用内存空间越大,估计还和hash算法有关
BloomFilter<String> bloomFilter = BloomFilter.create(Funnels.stringFunnel(Charset.defaultCharset()), expectedInsertions, fpp);

//存数据
bloomFilter.put("hello");
bloomFilter.put("world");

//判断是否存过数据
bloomFilter.mightContain("hello"); // true
bloomFilter.mightContain("world"); // true
bloomFilter.mightContain("test"); // false

2.分布式环境布隆过滤器

redission的实现
// 获取布隆过滤器对象
RBloomFilter<String> bloomFilter = redisson.getBloomFilter("bloom-filter");
// 初始化布隆过滤器,设置预计元素数量和误判率
bloomFilter.tryInit(10000, 0.03);
// 添加元素
bloomFilter.add("hello");
bloomFilter.add("world");

// 判断元素是否存在
System.out.println(bloomFilter.contains("hello"));
System.out.println(bloomFilter.contains("redis"));

// 清空过滤器
bloomFilter.delete();

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容