常见的推荐引擎算法： simHash 算法：推荐算法—协同过滤；simHash原理 ...
分类：
其他好文 时间：
2017-11-27 15:12:49
阅读次数：
174
传统的 hash 算法只负责将原始内容尽量均匀随机地映射为一个签名值，原理上相当于伪随机数产生算法。产生的两个签名，如果相等，说明原始内容在一定概 率 下是相等的；如果不相等，除了说明原始内容不相等外，不再提供任何信息，因为即使原始内容只相差一个字节，所产生的签名也很可能差别极大。从这个意义 上来 ...
分类：
编程语言 时间：
2017-09-21 17:54:59
阅读次数：
207
一、基本概念 simhash是为了计算一篇文档之间的相似度存在的，通过simhash算法可以计算出文档的simhash值，通过各个文档计算出的二进制值来计算文档之间的汉明距离，然后根据汉明距离来比较文档之间的相似度。汉明距离是指两个相同长度的字符串相同位置上不同的字符的个数。 simhash算法分为 ...
分类：
编程语言 时间：
2017-08-31 16:03:58
阅读次数：
135
阅读目录 1. SimHash与传统hash函数的区别 2. SimHash算法思想 3. SimHash流程实现 4. SimHash签名距离计算 5. SimHash存储和索引 6. SimHash存储和索引 7. 参考内容 阅读目录 1. SimHash与传统hash函数的区别 2. SimH ...
分类：
其他好文 时间：
2017-08-27 11:12:53
阅读次数：
310
记得以前有人问过我，网页去重算法有哪些，我不假思索的说出了余弦向量相似度匹配，但如果是数十亿级别的网页去重呢？这下糟糕了，因为每两个网页都需要计算一次向量内积，查重效率太低了！我当时就想：论查找效率肯定是要考虑hash算法，相同字符串的hashcode肯定相同，不同字符串的hashcode却是大不相 ...
分类：
编程语言 时间：
2017-05-29 22:22:44
阅读次数：
347
常见的推荐引擎算法： simHash 算法：推荐算法—协同过滤；simHash原理 ...
分类：
其他好文 时间：
2017-04-24 10:00:36
阅读次数：
126
SimHash是什么 SimHash是Google在2007年发表的论文《Detecting Near-Duplicates for Web Crawling 》中提到的一种指纹生成算法或者叫指纹提取算法，被Google广泛应用在亿级的网页去重的Job中，作为locality sensitive h ...
分类：
编程语言 时间：
2017-03-14 18:38:49
阅读次数：
386
在前一篇文章 《海量数据相似度计算之simhash和海明距离》 介绍了simhash的原理，大家应该感觉到了算法的魅力。但是随着业务的增长 simhash的数据也会暴增，如果一天100w，10天就1000w了。我们如果插入一条数据就要去比较1000w次的simhash，计算量还是蛮大，普通PC 比较 ...
分类：
其他好文 时间：
2017-02-16 14:31:26
阅读次数：
167
通过 采集系统 我们采集了大量文本数据，但是文本中有很多重复数据影响我们对于结果的分析。分析前我们需要对这些数据去除重复，如何选择和设计文本的去重算法？常见的有余弦夹角算法、欧式距离、Jaccard相似度、最长公共子串、编辑距离等。这些算法对于待比较的文本数据不多时还比较好用，如果我们的爬虫每天采集 ...
分类：
其他好文 时间：
2017-02-16 14:25:14
阅读次数：
247
本文环境： python3.5 ubuntu 16.04 python3.5 ubuntu 16.04 第三方库： jieba 文件寄于github: https://github.com/w392807287/angelo_tools.git simhash介绍 没多久就要写毕业论文了，据说需要查 ...
分类：
其他好文 时间：
2016-12-23 01:45:50
阅读次数：
246
