1、缓存穿透 多次访问一个不存在的key，会导致每次都去请求数据库，增加数据库负担 解决方法：1、对于请求数据库后仍然不存在的key设置为缓存，value中放null值，并设置一个缓存的失效时间，缓存有效时间可以设置短点，这样就不会多次请求数据库了，第二次就会直接返回null 2、采用布隆过滤器，使 ...
分类：
其他好文 时间：
2019-04-22 13:56:15
阅读次数：
165
1 什么是布隆过滤器 本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”，或者说“判断一个元素是否存在一个集合中”，比如： 字处理软件中，需要检查一个英语单词 ...
分类：
其他好文 时间：
2019-04-20 17:03:13
阅读次数：
322
布隆过滤器 布隆过滤器（Bloom Filter）是一种概率空间高效的数据结构。它与hashmap非常相似，用于检索一个元素是否在一个集合中。它在检索元素是否存在时，能很好地取舍空间使用率与误报比例。正是由于这个特性，它被称作概率性数据结构（probabilistic data structure） ...
分类：
其他好文 时间：
2019-03-28 09:59:54
阅读次数：
167
思路：从简单的排序谈到BitMap算法，再谈到数据去重问题，谈到大数据量处理利器：布隆过滤器。 情景1：对无重复的数据进行排序 @给定数据（2，4，1，12，9，7，6）如何对它排序？ 方法1：基本的排序方法包括冒泡，快排等。 方法2：使用BitMap算法 方法1就不介绍了，方法2中所谓的BitMa ...
分类：
其他好文 时间：
2019-02-25 18:48:05
阅读次数：
143
SET集合去重 set(1,1,2) REDIS去重 布隆过滤器 ...
分类：
编程语言 时间：
2019-02-20 20:13:57
阅读次数：
194
今天主要讨论：哈希函数、哈希表、布隆过滤器、一致性哈希、并查集的介绍和应用。 今天主要讨论：哈希函数、哈希表、布隆过滤器、一致性哈希、并查集的介绍和应用。 题目一 题目一 认识哈希函数和哈希表 1、输入无限大 2、输出有限的S集合 3、输入什么就输出什么 4、会发生哈希碰撞 5、会均匀分布，哈希函数 ...
分类：
编程语言 时间：
2019-01-28 14:05:20
阅读次数：
204
搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能，试图让大家理解大数据搜索的基本原理。 布隆过滤器 （Bloom Filter） 第一步我们先要实现一个布隆过滤器。 布隆过滤器是大数据领域的一个常见 ...
分类：
编程语言 时间：
2019-01-24 13:22:49
阅读次数：
218
一、布隆过滤器： 首先定义一些变量： k:为hash函数的数量 m:bit数组的大小 n:为元素的数量 ...
分类：
其他好文 时间：
2019-01-19 12:21:15
阅读次数：
162
大数据的出现使得数据的处理效率提高不少，这得益于大数据的数据处理系统，而大数据的处理系统有很多。就目前而言，主要的大数据处理系统有数据查询分析计算系统、批处理系统、流式计算系统、迭代计算系统、图计算系统和内存计算系统。下面我们就给大家介绍一下数据查询分析计算系统。 ...
分类：
其他好文 时间：
2019-01-04 14:33:51
阅读次数：
565
https://blog.csdn.net/a1368783069/article/details/52137417 ...
分类：
编程语言 时间：
2018-12-13 21:46:50
阅读次数：
330
