1、案例1题目：（大数据加位运算） 、 2、分析： 3、布隆过滤器： bloom算法类似一个hash set，用来判断某个元素（key）是否在某个集合中。 和一般的hash set不同的是，这个算法无需存储key的值，对于每个key，只需要k个比特位，每个存储一个标志，用来判断key是否在集合中。 ...
分类：
编程语言 时间：
2018-09-04 20:50:44
阅读次数：
189
布隆过滤器 HyperLogLog可以进行估数，非常具有价值，可以解决很多精确度要求不高的统计需求。 但是如果我们想知道某一值是不是在HyperLogLog结构内则无能为力了，因为HyperLogLog没有提供类似pfcontains这种方法。 比如，我们在使用新闻客户端看新闻时，它会不断推荐新的内 ...
分类：
其他好文 时间：
2018-08-19 11:09:48
阅读次数：
3431
控制台字体颜色参考了https://blog.csdn.net/key_point/article/details/52667273这篇博文。代码使用哈希表实现了一个简易布隆过滤器，过滤器中存储了C++的所有关键字用于查询操作！详解待后续文章，先上代码！ 头文件BitMap.h： 头文件BloomF ...
分类：
其他好文 时间：
2018-08-16 01:03:45
阅读次数：
181
给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 方案1：可以估计每个文件安的大小为5G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 遍历文件a，对每个url求取hash(ur ...
分类：
其他好文 时间：
2018-07-31 17:27:15
阅读次数：
128
缓存这个东西相信大家工作中都接触得比较多，相应的在不同场景下也会遇到各种各样的问题。下面我列举几种可能会遇到的问题并提供一些解决建议。 1、如何把海量数据存放在缓存中并提供快速查询 现实中我们的缓存通常都是以string,map,array,list,set,tree等具体的类型或者集合存放内存中， ...
分类：
其他好文 时间：
2018-07-24 17:39:23
阅读次数：
195
看到了吗？星星数排名第一的Scrapy比其他所有的加起来都要多，我仿佛听到他这样说： 优点： 极其灵活的定制化爬取。 社区人数多、文档完善。 URL去重采用布隆过滤器方案。 可以处理不完整的HTML，Scrapy已经提供了selectors（一个在lxml的基础上提供了更高级的接口），可以高效地处理 ...
分类：
其他好文 时间：
2018-05-14 19:48:04
阅读次数：
137
使用MR编程操纵hbase ====================================== 1、TableInputFormat输入K,V格式 ImmutableBytesWritable //相当于textInputFormat中的偏移量 Result //真实数据 使用conf设置... ...
分类：
其他好文 时间：
2018-05-09 19:24:32
阅读次数：
181
1、布隆过滤器是什么？ 又快又小的处理方法 布隆过滤器(Bloom Filter):是一种空间效率极高的概率型算法和数据结构，用于判断一个元素是否在集合中（类似Hashset）。 它的核心一个很长的二进制向量和一系列hash函数 数组长度以及hash函数的个数都是动态确定的。 Hash函数：SHA1 ...
分类：
其他好文 时间：
2018-05-02 16:25:13
阅读次数：
185
https://en.wikipedia.org/wiki/Bloom_filter https://en.wikipedia.org/wiki/Bloom_filter 写在前面 在大数据与云计算发展的时代，我们经常会碰到这样的问题。我们是否能高效的判断一个用户是否访问过某网站的主页（每天访问量上 ...
分类：
其他好文 时间：
2018-04-29 20:00:00
阅读次数：
163
一、什么是布隆过滤器 在数学之美中，有一章是关于布隆过滤器的讲解，内容如下。 在字处理软件中，一个英语单词是否拼写正确；在FBI中，一个嫌疑人的名字是否在嫌疑名单上；在网络爬虫里，一个网址是否已访问过，等等。最直接的方法就是将集合中
分类：
数据库 时间：
2018-04-13 12:06:41
阅读次数：
289
