最近在学习数据结构感觉利用二进制位来标记一个数是否存在是特别节省空间的，比如位图和布隆过滤器是效率比较高的。所以感觉有必要复习一下二进制位的一些常用的操作。通过几个例子来复习一下：（一）写一个函数返回参数二进制中1的个数（与运算）intcount_one_bits(size_tvalu..
分类：
其他好文 时间：
2016-05-13 05:19:23
阅读次数：
161
布隆过滤器（Bloom Filter）： 是由布隆（Burton
Howard Bloom）提出的。它实际上是由一个很长的二进制向量和一系列随机映射函数组成，布隆过滤器用于检索一个元素是否在一个集合中。底层是利用哈希表来实现的，它可以通过一个Hash函数将一个元素映射成一个位阵列（Bit
Array）中的一个点。这样一来，我们只要看看这个点是不是 1 就知道可以集合中有没有它了。这就是...
分类：
其他好文 时间：
2016-05-12 23:53:08
阅读次数：
278
布隆（Burton Howard Bloom）在1970年提出的。它实际上是由一个很长的二进制向量和一系列随机映射函数组成，布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率 ...
bbs.chinaacc.com/forum-2-3/topic-5672277.html
bbs.chinaacc.com/forum-2-...
分类：
其他好文 时间：
2016-05-09 07:07:24
阅读次数：
161
海量数据处理算法—Bloom Filter 海量数据处理算法—Bloom Filter 1. Bloom-Filter算法简介 Bloom-Filter，即布隆过滤器，1970年由Bloom中提出。它可以用于检索一个元素是否在一个集合中。 Bloom Filter（BF）是一种空间效率很高的随机数据 ...
分类：
编程语言 时间：
2016-04-30 12:52:40
阅读次数：
269
在大数据的实时处理系统中，累加型的计算（PV统计）可以使用累加器解决；非累加型的计算（UV统计），需要损失一定准确率来保证执行效率，对最终值进行估算。其中一种估算方法便是布隆过滤器。 BF是一种二进制向量数据结构，拥有很高的空间和时间效率。其基本原理是使用长度为m的位数组M存储集合信息，同时使用k个 ...
分类：
其他好文 时间：
2016-04-10 21:18:18
阅读次数：
222
转自：http://blog.csdn.net/yangbutao/article/details/8394149了解了布隆过滤器作用于HFile之上以及对HFile有了更深层次了解。另有：http://my.oschina.net/zhengyang841117/blog/188723一、HFil...
分类：
其他好文 时间：
2016-01-12 01:10:13
阅读次数：
251
布隆过滤器用于字符串去重复，比如网络爬虫抓取时URL去重、邮件提供商反垃圾黑名单Email地址去重。等等。用哈希表也可以用于元素去重，但是占用空间比较大，而且空间使用率只有50%。 布隆过...
分类：
Web程序 时间：
2015-11-12 13:48:16
阅读次数：
294
英文书名是“the everything store”，比较而言中文书名翻译为“一网打尽”感觉不是特别合适，英文书名与内容更统一。这本书总体还是不错的，不过遗憾在其不是贝佐斯本身所写或所述，所以不少事件细节都很缺失只能说是差强人意，相比《富甲美国》、《我是布隆伯格》、《史蒂夫乔布斯传》等由本人亲自撰...
分类：
其他好文 时间：
2015-09-30 19:39:21
阅读次数：
269
1、文本匹配，敏感词过滤（正则表达式，及其他各种算法）2、分类算法3、黑名单(布隆过滤算法等)
分类：
其他好文 时间：
2015-09-30 18:19:52
阅读次数：
156
（1） Bloomfilter在hbase中的作用 Hbase利用bloomfilter来提高随机读（get）的性能，对于顺序读（scan）而言，设置Bloomfilter是没有作用的（0.92版本以后，如果设置了bloomfilter为rowcol，对于执行了qualifier的scan有 ...
分类：
其他好文 时间：
2015-09-09 14:45:33
阅读次数：
192
