原文:详细解析Redis中的布隆过滤器及其应用 欢迎关注微信公众号：万猫学社，每周一分享Java技术干货。 什么是布隆过滤器 布隆过滤器（Bloom Filter）是由Howard Bloom在1970年提出的一种比较巧妙的概率型数据结构，它可以告诉你某种东西一定不存在或者可能存在。当布隆过滤器说，... ...
分类：
其他好文 时间：
2020-02-12 22:39:43
阅读次数：
88
Redis缓存知识问题缓存穿透：条件：缓存穿透是指查询一个一定不存在的数据，由于缓存是不命中时被动写的，并且出于容错考虑，如果从存储层查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到存储层去查询，失去了缓存的意义。在流量大时，可能DB就挂掉了，要是有人利用不存在的key频繁***我们的应用，这就是漏洞。解决方案：有很多种方法可以有效地解决缓存穿透问题，最常见的则是采用布隆过滤器，将所有
分类：
其他好文 时间：
2020-02-07 20:51:23
阅读次数：
52
试想一下这样的场景，当黑客故意访问不存在的数据，导致程序不断访问DB数据库的数据，数据库会不会挂掉？答案是会的。所以为了避免这种情况发生，当黑客访问不存在的缓存时能够迅速返回避免缓存及DB挂掉，引出了今天讲的布隆过滤器。 布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个 ...
分类：
其他好文 时间：
2020-02-06 11:10:47
阅读次数：
107
算法第三章 布隆过滤器 + 海量数据管理 ，在哈希表上再压缩数据， 但会存在较低的失误率 + 失误类型：宁可错杀三千不可错放一个，非存储数据小概率判断为存储数据 + bit位数组存储：eg. int数组每位存储0~31位bit数组 + 思想：准备k个哈希函数，哈希值取模bit数组大小m，每个键经过记 ...
分类：
编程语言 时间：
2020-01-16 19:09:06
阅读次数：
84
1.关于redis的缓存击穿和雪崩 缓存击穿：redis缓存系统是根据key来查询value的值，当value不存在的时候，就会去访问数据库（DB），如果大量的请求进来找不到与之对应的value时，会对数据库造成巨大压力，以至于导致数据库瘫痪，这就叫缓存击穿。 解决方案：1.使用布隆过滤器 2.不管 ...
分类：
其他好文 时间：
2020-01-16 12:22:44
阅读次数：
65
一、概念 1. 布隆过滤器是一个数据结构：bit数组+随机映射函数 2. 作用：高效判断某个元素是否在给定的集合中 3. 缺点：有一定的错误识别率，随着数据量越大，错误识别率越大；并且不容易删除 二、原理 1. 加入元素： a. 使用布隆过滤器中的哈希函数，计算元素的哈希值，可能有多个哈希函数，对应 ...
分类：
其他好文 时间：
2020-01-11 13:06:02
阅读次数：
63
布隆过滤器 概念 布隆过滤器是概率型数据结构，由一个二进制向量和一系列随机映射函数组成。它可以用于检索一个元素是否在一个集合中。 实现过程 1. 定义向量长度，并赋初值为0. 2. 定义N个hash函数，并指定个数(1,N) 3. 将需要存储的值经过n个hash计算得出的值作为key来修改向量的值( ...
分类：
其他好文 时间：
2020-01-09 13:37:25
阅读次数：
67
Hash算法在应用中又称为指纹(fingerprint)或者摘要(digest)算法,是一种将任意长度的明文串映射为较短的数据串(hash值)的算法，目前的Hash算法主要是MD5系列算法与SHA系统算法 一个好的Hash算法需要具有四个特性，即正向快速 ，逆向困难，输入敏感 ，冲突避免 正向快速 ...
分类：
编程语言 时间：
2020-01-08 19:27:17
阅读次数：
119
安装扩展 https://blog.csdn.net/maoyuanming0806/article/details/102798976 在laravel 中的简单使用 Lua 脚本用起来 $sh=<<<LUA return redis.call('bf.add',KEYS[1],KEYS[2]) ...
分类：
其他好文 时间：
2019-12-24 11:34:57
阅读次数：
117
结论：100w数据，key都是字符串（ip:port），map测试时，key存在大概耗时0.01 0.1ms，不存在时大概0.005ms左右，list耗时20 40ms，布隆过滤器0.01 0.2ms左右。除此之外需要考虑占用内存，按255.255.255.255:65535来考虑，用list存储1 ...
分类：
其他好文 时间：
2019-12-23 00:12:31
阅读次数：
181
