step1 使用socket编程技术，利用http协议，抽取网页中的url，实现简单的爬虫。 step2 使用bloomfilter，对爬到的url进行去重，避免重复爬取相同页面。 step3 使用libevent的事件驱动设计模式，基于kueue的io多路复用，加快爬虫速度。 笔者使用Mac OS ...
分类：
编程语言 时间：
2018-11-29 18:07:41
阅读次数：
206
代码很简单，写了一些注释；加上注释看就很清楚了。 文件bloomfilter.cpp： 文件bloomfilter.h： 文件main.cpp： 文件mainwindow.cpp： 文件mainwindow.h： 文件mainwindow.ui自己拖一拖就行！ 文件myhighlight.cpp： ...
分类：
其他好文 时间：
2018-10-14 00:27:58
阅读次数：
235
Redis有哪些数据结构？ 字符串String、字典Hash、列表List、集合Set、有序集合SortedSet。 如果你是Redis中高级用户，还需要加上下面几种数据结构HyperLogLog、Geo、Pub/Sub。 如果你说还玩过Redis Module，像BloomFilter，Redis ...
分类：
其他好文 时间：
2018-08-21 19:39:44
阅读次数：
196
原文在《游戏编程精粹2》的1.2中，BloomFilter是一种可以快速检测是否存在集合包含关系的数据结构，但有一定的误识别率。 该结构的优势 判断包含时效率高，粗略测试了下比List快一倍(不拆分哈希) 由于内部是位数组BitArray，做交集并集几乎不产生开销 该结构的劣势 有一定的误识别率 使 ...
分类：
其他好文 时间：
2018-05-05 11:17:56
阅读次数：
205
VERSION BLOOMFILTER value： NONE|ROW|ROWCOL 作用：对于get操作以及部分scan操作可以剔除掉不会用到的存储文件，减少实际IO次数，提高随机读性能 COMPRESSION value: Gzip|LZO|Snappy snappy压缩率最低，编解码速率最高， ...
分类：
其他好文 时间：
2018-04-26 13:20:44
阅读次数：
198
知道BloomFilter是因为RocksDB数据库中用到了这个技术，用于判断1个数据是否存在于1个SST文件中。 BloomFilter可能存在误判，就是判断结果是存在集合中，而实际上可能不存在，概率是很低的。但是判断不存在，则一定就是不存在集合中的。 资料查阅后，BloomFilter还可以用于 ...
分类：
其他好文 时间：
2018-04-15 22:54:38
阅读次数：
192
Maven是Java中最常用的依赖管理工具，Maven的中央仓库保罗万象，涵盖了各个领域的框架、工具和文档，也是Java生态强大生命力的体现。我们自己开发的一些有用有趣的代码也可以通过打包上传到maven中央仓库的方式分享给他人，也为开源社区做了贡献。本文记录了上传bloomfilter算法实现代码 ...
分类：
其他好文 时间：
2018-04-06 16:42:47
阅读次数：
233
建表高级属性 下面几个 shell 命令在 hbase 操作中可以起到很大的作用，且主要体现在建表的过程中，看 下面几个 create 属性 1、 BLOOMFILTER 默认是 NONE 是否使用布隆过虑及使用何种方式，布隆过滤可以每列族单独启用 使用 HColumnDescriptor.setB ...
分类：
其他好文 时间：
2018-04-03 14:30:57
阅读次数：
673
在日常生活中。包括在设计计算机软件时，我们常常要推断一个元素是否在一个集合中。 比方在字处理软件中，须要检查一个英语单词是否拼写正确（也就是要推断 它是否在已知的字典中）。在 FBI。一个嫌疑人的名字是否已经在嫌疑名单上；在网络爬虫里。一个网址是否被訪问过等等。最直接的方法就是将集合中所有的元素存在 ...
分类：
其他好文 时间：
2018-03-24 21:27:11
阅读次数：
221
原文链接 :http://blog.csdn.net/qq_38646470/article/details/79431659 1.概念： 如果想判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等数据结构都是这种思路. 但是随着集合中元素的增加，我们需要的 ...
分类：
其他好文 时间：
2018-03-03 19:25:05
阅读次数：
211
