1. 预处理过程 预处理主要用来事先生成程序在运行过程中可能用到的数据，以便加速处理时间。 预处理的过程主要生成程序所需的三个文件：网页库文件，网页位置信息文件和倒排索引文件。 网页库文件 其中网页库文件ripepage.lib主要是以格式化的数据存储大量的网页信息，每个网页的格式化数据为： id ...
分类：
其他好文 时间：
2015-08-19 23:21:30
阅读次数：
286
#include
#include
#include
#include
using namespace std;
//倒排索引，以属性值来存储关键字。//找出两个人相似度最高的人，相似度=(相同爱好数)/总的爱好数。
struct Node
{
string like;
int count;
Node(...
分类：
其他好文 时间：
2015-08-17 14:04:37
阅读次数：
142
1.单词——文档矩阵 单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型，图3-1展示了其含义。图3-1的每列代表一个文档，每行代表一个单词，打对勾的位置代表包含关系。 图3-1 单词-文档矩阵 从纵向即文档这个维度来看，每列代表文档包含了哪些单词，...
分类：
其他好文 时间：
2015-08-13 13:48:37
阅读次数：
121
最近在写一个搜索引擎，有个中间程序是分析分词结果文件，建立倒排索引。最初写的是单线程的，效率低到无语，于是又改成多线程的了。本以为万事大吉，可是在分析了将近2000文件的时候，效率低的和单线程的没什么区别了。打开任务管理器，线程数显示3（我设置的子线程数量最高为15，加上启动就有的，程序刚运行的时候线程数可以达到20个）。
百度了下，Windows单个程序的线程数是有上限的，一般只能开到...
分类：
编程语言 时间：
2015-08-12 21:50:07
阅读次数：
124
Atitit.软件button和仪表板(13)--全文索引操作--db数据库子系统mssql2008全文索引操作4.全文索引和like语句比較 15.倒排索引invertedindex 12.SQLServer2008全文检索 23.Lucene全文检索 3普通情况，使用SQLServer中的全文索...
分类：
数据库 时间：
2015-08-10 13:28:20
阅读次数：
157
分析和分析器
分析(analysis)是这样一个过程：
首先，表征化一个文本块为适用于倒排索引单独的词(term)然后标准化这些词为标准形式，提高它们的“可搜索性”或“查全率”
这个工作是分析器(analyzer)完成的。一个分析器(analyzer)只是一个包装用于将三个功能放到一个包里：
字符过滤器
首先字符串经过字符过滤器(character filter)，它们的工作是在表征...
分类：
其他好文 时间：
2015-07-29 17:10:47
阅读次数：
430
由于倒排索引文件往往占用巨大的磁盘空间，我们自然想到对数据进行压缩。同时，引进压缩算法后，使得磁盘占用减少，操作系统在query processing过程中磁盘读取效率也能提升。另外，压缩算法不仅要考虑压缩效果，还要照顾到query processing过程的解压缩效率。总的来说，好的索引压缩算法需...
分类：
编程语言 时间：
2015-07-17 08:24:16
阅读次数：
298
一，什么是倒排索引
问题描述：文档检索系统，查询那些文件包含了某单词，比如常见的学术论文的关键字搜索。
基本原理及要点：为何叫倒排索引？一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。
以英文为例，下面是要被索引的文本：
T0 = "it is what it is"
T1 = "what is it"
T2 = ...
分类：
其他好文 时间：
2015-07-12 12:54:59
阅读次数：
179
题目如下：
Zhejiang University has 40000 students and provides 2500 courses. Now given the student name lists of all the courses, you are supposed to output the registered course list for each stude...
分类：
其他好文 时间：
2015-07-05 09:44:07
阅读次数：
113
一、Hadoop来历 Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到，由于这个问题Google发明了倒排索引算法，通过加入了Map-reduce的思想来计算Page Rank，通过不断的演变Google带给我们了GFS、Map-....
分类：
其他好文 时间：
2015-06-22 19:16:19
阅读次数：
126
