海量数据处理的常用技术可分为: 外排序：因为海量数据无法全部装入内存，所以数据的大部分存入磁盘中，小部分在排序需要时存入内存。 MapReduce：分布式处理技术 hash技术：以Bloom filter技术为代表 外排序：主要适用于大数据的排序、去重。 分布式处理技术：MapReduce 技术思想
分类：
其他好文 时间：
2016-03-11 23:59:48
阅读次数：
396
Bloom Filter 算法 Bloom filter是由Burton Bloom 在1970年提出的，其后在P2P上得到了广泛的应用。Bloom filter 算法可用来查询某一数据是否在某一数据集合中。其长处是查询效率高、可节省空间。但其缺点是会存在一定的错误。因此Bloom filter 算
分类：
编程语言 时间：
2016-03-08 16:09:18
阅读次数：
194
Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。
一. 实例
为了说明Bloom Filter存在的重要意义，举一个实例：
假设要你写一个网络蜘蛛（web crawler）。由于网络间的链接错综复杂，蜘蛛在网络间爬行很可能会形成“环”。为了避免形成“...
分类：
编程语言 时间：
2016-01-25 11:35:06
阅读次数：
194
1. 简单介绍 參见《Hadoop in Action》P102 以及 《Hadoop实战（第2版）》（陆嘉恒）P69 2. 案例 网上大部分的说明不过依照《Hadoop in Action》中的演示样例代码给出。这里是Hadoop0.20.2版本号，在该版本号中已经实现了BloomF...
分类：
其他好文 时间：
2015-12-23 10:50:36
阅读次数：
215
是一种hash方法，其实核心思想就是，将一个字符串通过多个普通hash函数映射到hash表上，然后再进行检索的时候同样计算hash函数，如果全都都hash表上出现过，那么说明有极大的可能出现过，如果没有出现那么一定没有出现过。可以通过公式计算采取多少个普通hash函数和多大映射空间使正确率变得最低。...
分类：
其他好文 时间：
2015-10-16 17:05:53
阅读次数：
258
收集几个博客，留着学习 Bloom Filter概念和原理? http://blog.csdn.net/jiaomeng/article/details/1495500 bloom filter 的Java 版 http://www.cnblogs.com/hitwtx/archive/2011/08/24/2152180.html BloomFilte...
分类：
其他好文 时间：
2015-09-22 14:54:56
阅读次数：
129
转自: http://www.dbafree.net/?p=36 BloomFilter–大规模数据处理利器 Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。 一. 实例 为...
分类：
其他好文 时间：
2015-09-05 20:52:25
阅读次数：
275
转自： http://blog.csdn.net/jiaomeng/article/details/1495500 Bloom Filter概念和原理 焦萌 2007年1月27日 Bloom Filter是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个...
分类：
其他好文 时间：
2015-09-05 20:49:12
阅读次数：
206
Bloom Filter 是由Howard Bloom 在 1970 年提出的二进制向量数据结构，它具有很好的空间和时间效率，被用来检测一个元素是不是集合中的一个成员。如果检测结果为是，该元素不一定在集合中；但如果检测结果为否，该元素一定不在集合中。因此Bloom filter具有100%的召回率。这样每个检测请求返回有“在集合内（可能错误）”和“不在集合内（绝对不在集合内）”两种情况，可见 Bloom filter 是牺牲了正确率和时间以节省空间。...
分类：
其他好文 时间：
2015-08-27 21:16:44
阅读次数：
587
Hadoop0.20.2 Bloom filter应用示例2014-06-04 11:55451人阅读评论(0)收藏举报1. 简介 参见《Hadoop in Action》P102 以及 《Hadoop实战（第2版）》（陆嘉恒）P69 2. 案例 网上大部分的说明仅仅是按照《Hadoo...
分类：
其他好文 时间：
2015-08-20 14:57:49
阅读次数：
266
