思路：从简单的排序谈到BitMap算法，再谈到数据去重问题，谈到大数据量处理利器：布隆过滤器。 情景1：对无重复的数据进行排序 @给定数据（2，4，1，12，9，7，6）如何对它排序？ 方法1：基本的排序方法包括冒泡，快排等。 方法2：使用BitMap算法 方法1就不介绍了，方法2中所谓的BitMa ...
分类：
其他好文 时间：
2019-02-25 18:48:05
阅读次数：
143
SET集合去重 set(1,1,2) REDIS去重 布隆过滤器 ...
分类：
编程语言 时间：
2019-02-20 20:13:57
阅读次数：
194
2019/2/19星期二hbase建表create高级属性//hbase表预分区也就是手动分区这个很重要下面几个shell命令在后续的hbase操作中可以起到很到的作用，且主要体现在建表的过程中，看下面几个create属性1、BLOOMFILTER默认是NONE是否使用布隆过虑使用何种方式布隆过滤可以每列族单独启用。使用HColumnDescriptor.setBloomFilterType(NO
分类：
其他好文 时间：
2019-02-19 20:07:29
阅读次数：
343
今天主要讨论：哈希函数、哈希表、布隆过滤器、一致性哈希、并查集的介绍和应用。 今天主要讨论：哈希函数、哈希表、布隆过滤器、一致性哈希、并查集的介绍和应用。 题目一 题目一 认识哈希函数和哈希表 1、输入无限大 2、输出有限的S集合 3、输入什么就输出什么 4、会发生哈希碰撞 5、会均匀分布，哈希函数 ...
分类：
编程语言 时间：
2019-01-28 14:05:20
阅读次数：
204
搜索是大数据领域里常见的需求。Splunk和ELK分别是该领域在非开源和开源领域里的领导者。本文利用很少的Python代码实现了一个基本的数据搜索功能，试图让大家理解大数据搜索的基本原理。 布隆过滤器 （Bloom Filter） 第一步我们先要实现一个布隆过滤器。 布隆过滤器是大数据领域的一个常见 ...
分类：
编程语言 时间：
2019-01-24 13:22:49
阅读次数：
218
一、布隆过滤器： 首先定义一些变量： k:为hash函数的数量 m:bit数组的大小 n:为元素的数量 ...
分类：
其他好文 时间：
2019-01-19 12:21:15
阅读次数：
162
# -*- coding: utf-8 -*- import redis from hashlib import md5 class SimpleHash(object): def __init__(self, cap, seed): self.cap = cap self.seed = seed ... ...
分类：
其他好文 时间：
2019-01-11 17:11:25
阅读次数：
142
大数据的出现使得数据的处理效率提高不少，这得益于大数据的数据处理系统，而大数据的处理系统有很多。就目前而言，主要的大数据处理系统有数据查询分析计算系统、批处理系统、流式计算系统、迭代计算系统、图计算系统和内存计算系统。下面我们就给大家介绍一下数据查询分析计算系统。 ...
分类：
其他好文 时间：
2019-01-04 14:33:51
阅读次数：
565
https://blog.csdn.net/a1368783069/article/details/52137417 ...
分类：
编程语言 时间：
2018-12-13 21:46:50
阅读次数：
330
结果：使用内存27MB，查找结果一般在100毫秒以内。 ...
