案例:在阅读文章时,推荐相似的文章. 这个案例简单粗暴,尤其是我看小说的时候,闹书荒的时候,真的很希望有这样的功能.(PS:我现在就职于某小说公司) 那么,如何衡量文章之间的相似度? 在开始讲之前,先提一下elasticsearch. elasticsearch所使用的索引方式被称为倒排索引.将文档 ...
分类：
编程语言 时间：
2018-07-06 20:24:14
阅读次数：
189
1. 全文检索的通用步骤： 1、建库步骤： a 分词 b 倒排索引 : 关键词和记录Id的对应关系,1对多。 2、查询步骤： a 分词 b 查索引 c 取交集或并集 2. 产品使用全文检索的一种场景 如上图， 由数据库或者应用软件生成数据，通过logstash导入elasticSearch系统。 K ...
分类：
其他好文 时间：
2018-06-15 23:31:21
阅读次数：
292
spark 例子倒排索引 例子描述： 【倒排索引(InvertedIndex)】 这个例子是在一本讲spark书中看到的，但是样例代码写的太java化，没有函数式编程风格，于是问了些高手，教我写了份函数式的倒排索引。 这段代码，我在刚开始学的时候很难想到二次拆分数据，所以这个难点挺不错的。 原始数据 ...
分类：
其他好文 时间：
2018-06-14 11:18:30
阅读次数：
141
搜索引擎：索引组件：获取数据-->建立文档-->文档分析-->文档索引（倒排索引）搜索组件：用户搜索接口-->建立查询（将用户键入的信息转换为可处理的查询对象）-->搜索查询-->展现结果索引组件：Lucene搜索组件：Solr,ElasticSearch注意：mysql数据库中的myisam引擎支持全文索引，但是格式比较复杂，不适于作为搜索引擎的组件；Luce
分类：
其他好文 时间：
2018-06-08 15:46:22
阅读次数：
178
广告引擎之索引介绍 —— 倒排索引 广告引擎之索引介绍 —— 倒排索引 最近两周对广告引擎索引技术进行了一些了解，主要了解了一下索引的构成方式以及构建过程，感觉这一部分还是有一些深度，加上文档可能贫乏，了解起来需要花费一定的时间，所以结合自己的理解，我想把这个过程纪录下来，算是作为一份补充的参考文档 ...
分类：
其他好文 时间：
2018-05-22 18:30:52
阅读次数：
186
在搜索引擎中，数据被爬取后，就会建立index，方便检索。 在工作中经常会听到有人问，你这个index是正排的还是倒排的？那么什么是正排呢？什么又是倒排呢？下面是一些简单的介绍。 网页A中的内容片段： Tom is a boy. Tom is a student too. 网页B中的内容片段： Jo ...
分类：
其他好文 时间：
2018-05-16 00:25:44
阅读次数：
141
1、什么是搜索？搜索，就是在任何场景下，找寻你想要的信息，这个时候会输入一段你要搜索的关键字，然后就期望找到这个关键字的有些信息2、如果用数据库做搜索会怎么样？(1)如检索的文本太长，效率会很低(2)不能将搜索词拆分出来3、什么是全文检索和Lucene？(1)全文检索，搜索词拆分和倒排索引(2)lucence，jar包，里面封装了各种建立倒排索引，以及进行搜索的代码，包括各种算法。4、什么是Ela
分类：
其他好文 时间：
2018-05-06 17:01:36
阅读次数：
132
核心篇 数据存储 MySQL 索引使用 的注意事项 说说反模式设计 说说分库与分表设计 分库与分表带来的分布式困境与应对之策 说说SQL优化之道 MySQL遇到的死锁问题 存储引擎的 lnnoDB 与 MyISAM 数据库索引的原理 为什么要用 B-tree 聚集索引与非聚集索引的区别 limit ...
分类：
编程语言 时间：
2018-04-15 20:51:09
阅读次数：
333
主要知识点： doc value的原理 doc value性能优化 一、doc value原理 1、 生成时间：index-time生成 PUT/POST的时候，就会生成doc value数据，也就是正排索引 2、 核心原理与倒排索引类似 正排索引，也会写入磁盘文件中，然后呢，os cache先进行... ...
分类：
其他好文 时间：
2018-03-11 00:22:36
阅读次数：
143
