看见了海量数据去重，找到停留时间最长的IP等问题，有博友提到了Bloom Filter，我就查了查，不过首先想到的是大叔，下面就先看看大叔的风采。 一、布隆过滤器概念引入 （Bloom Filter）是由布隆（Burton Howard Bloom）在1970年提出的。它实际上是由一个很长的二进制....
分类：
其他好文 时间：
2014-12-21 11:28:35
阅读次数：
267
需求 去除掉海量文件中的存在着的重复数据，并将结果输出到单个文件中。 比如有文件1中有以下数据： hello my name 文件2中有以下数据 my name is 文件3中有以下数据 name is fangmeng 那么结果文件的内容应当如下(顺序不保证一致)： ...
分类：
其他好文 时间：
2014-12-11 22:05:38
阅读次数：
226
#region DataTable筛选，排序返回符合条件行组成的新DataTable或直接用DefaultView按条件返回 /// /// DataTable筛选，排序返回符合条件行组成的新DataTable或直接用DefaultView按条件返回 /// eg:SortExprData...
分类：
其他好文 时间：
2014-12-10 19:33:46
阅读次数：
373
如图所示：代码： 原先数据 张三 李四 王五 张三 王五 数据去重 张三 李四 王五 张三 王五 ...
分类：
其他好文 时间：
2014-11-26 20:39:41
阅读次数：
259
任务目标:目标一:每名学生被多少位老师教过方法一:先DISTINCT,在计数-DISTINCT能偶对所有数据去重方法二:先分组-FOREACH嵌套-使用DISTINCT首先创建一份数据源文件[hadoop@hadoop1~]$catscore.txt
James,Network,Tiger,100
James,Database,Tiger,99
James,PDE,Yao,95
Vincent,Ne..
分类：
其他好文 时间：
2014-11-26 06:49:24
阅读次数：
201
(转)A、B两表，找出ID字段中，存在A表，但是不存在B表的数据。A表总共13w数据，去重后大约3W条数据，B表有2W条数据，且B表的ID字段有索引。方法一 使用 not in ,容易理解,效率低 ~执行时间为：1.395秒~1 select distinct A.ID from A where.....
分类：
数据库 时间：
2014-11-04 14:23:34
阅读次数：
202
重复数据删除（de-duplication）是存储领域，尤其是数据备份领域的一个非常重要的概念。其目的是删除重复的数据块，从而减少对存储空间的使用。这种想法的出发点是非常自然的。通常情况下，每次备份的数据总是会有一部分跟上一次备份的数据重合。比如，每次备份都要包含一个100..
分类：
其他好文 时间：
2014-09-12 19:20:14
阅读次数：
219
最近调研了一下simhash算法，它主要用在谷歌网页去重中，网上有很多原理性的介绍。既然可以用来判断文件的相似性，就想知道效果怎么样，simhash的精确度是否依赖于分词算法？是否和simhash的长度有关？
在数据去重过程中，都是先对文件进行分块，而后得到关于这个文件的所有指纹(SHA-1 digest)，那么如果把这些fingerprints视为这个文件的单词，作为simhash的输入，效果...
分类：
其他好文 时间：
2014-07-11 08:33:56
阅读次数：
217
摘要：MapReduce程序进行数据去重。
关键词：MapReduce 数据去重...
分类：
其他好文 时间：
2014-06-21 22:35:28
阅读次数：
237
