概念性的： 只能处理字符串，属于全文搜索引擎（站内），数据库把词条给lucence 然后查找的时候在lucence中查找
其它的搜索技术如 like %% 模糊查询
模糊程度太低，无法匹配几个关键词不挨着的；造成全表扫描，效率低
数据库全文索引
需要在数据库中开启，效率可以但是模糊率不行 数据库全文检索很傻瓜化，和普通SQL一样。数据全文检索灵活性不强。
select * from t_articls where Contains(msg,"北京海淀区")
分为一元分词算法 ：英文使用 单词按照空格分割
二元分词算法 ：每两个此算作一个词分割 ，不属于lucence的范围 ，是别人写的 需要引用两个类 CJKAnalyzer.cs 和 CJKTokenizer.cs 下面是一元分词和二元分词的测试demo
一元分词demo
Analyzer analyzer = new StandardAnalyzer();
TokenStream tokenStream = analyzer.TokenStream("", new StringReader("北京，Hi欢迎你们大家"));
Lucene.Net.Analysis.Token token = null;
while ((token = tokenStream.Next()) != null)
{
Console.WriteLine(token.TermText());
}
二元分词demo
Analyzer analyzer = new CJKAnalyzer();
TokenStream tokenStream = analyzer.TokenStream("", new StringReader("北京，Hi欢迎你们大家"));
Lucene.Net.Analysis.Token token = null;
while ((token = tokenStream.Next()) != null)
{
Console.WriteLine(token.TermText());
}
盘古分词
首先添加盘古分词引用 然后写下面的demo
Analyzer analyzer = new PanGuAnalyzer();
TokenStream tokenStream = analyzer.TokenStream("", new StringReader("北京，Hi欢迎你们大家"));
Lucene.Net.Analysis.Token token = null;
while ((token = tokenStream.Next()) != null)
{
Console.WriteLine(token.TermText());
}
这时候系统会报错 错误信息如下
未能找到路径“C:\Users\lzj\Desktop\继续mvc杂乱LucecnNetDemo\bin\Debug\Dict\Dict.Dct”的一部分。
说明在bin/debug目录下面没有dict数据字典文件 那么现在就添加一个盘古分词自带的数据字典 盘古分词需要一个词库，这个词库是实现弄好的
不能放到debug目录下面 因为在清理的时候debug目录下面的文件丢失 采用另一种办法 放到网站的跟目录下面 然后选中文件右键单击属性 更改复制到输出目录 这样就能够在数据字典改变的情况下面更改bin/debug下面的文件内容
精确度很高
然后利用测试数据软件 打开dict文件 更改数据字典内的词语 继续测试 DictManage.exe
盘古分词就是一个数据字典 里面存了很多分词词条， 当程序向lucecn中添加数据的时候，根据盘古分词词库把用户输入数据按照词库语句进行分割
暂时性理解：用户给lucecn数据 ，lucecn按照盘古分词算法对数据（字符串）进行分词保存在lucecn中作为索引，当下次用户查询的时候输入关键字 就是盘古分词分割好了存储在lucecn中的数据，lucecn根据关键字索引找到对应的数据
下面实现
添加索引库
string indexPath = @"C:\lucenedir";//注意和磁盘上文件夹的大小写一致，否则会报错。将创建的分词内容放在该目录下。
FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory());//指定索引文件(打开索引目录) FS指的是就是FileSystem
bool isUpdate = IndexReader.IndexExists(directory);//IndexReader:对索引进行读取的类。该语句的作用：判断索引库文件夹是否存在以及索引特征文件是否存在。
if (isUpdate)
{
//同时只能有一段代码对索引库进行写操作。当使用IndexWriter打开directory时会自动对索引库文件上锁。
//如果索引目录被锁定（比如索引过程中程序异常退出），则首先解锁（提示一下：如果我现在正在写着已经加锁了，但是还没有写完，这时候又来一个请求，那么不就解锁了吗？这个问题后面会解决）
if (IndexWriter.IsLocked(directory))
{
IndexWriter.Unlock(directory);
}
}
IndexWriter writer = new IndexWriter(directory, new PanGuAnalyzer(), !isUpdate, Lucene.Net.Index.IndexWriter.MaxFieldLength.UNLIMITED);//向索引库中写索引。这时在这里加锁。
for (int i = 1; i <= 10; i++)
{
string txt = File.ReadAllText(@"C:\testluce\" + i + ".txt", System.Text.Encoding.Default);//注意这个地方的编码
Document document = new Document();//表示一篇文档。
//Field.Store.YES:表示是否存储原值。只有当Field.Store.YES在后面才能用doc.Get("number")取出值来.Field.Index. NOT_ANALYZED:不进行分词保存
document.Add(new Field("number", i.ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));
//Field.Index. ANALYZED:进行分词保存:也就是要进行全文的字段要设置分词 保存（因为要进行模糊查询）
//Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS:不仅保存分词还保存分词的距离。
document.Add(new Field("body", txt, Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));
writer.AddDocument(document);
}
writer.Close();//会自动解锁。
directory.Close();//不要忘了Close，否则索引结果搜不到
MessageBox.Show("ok");
查询索引库
string indexPath = @"C:\lucenedir";
string kw = "面向对象";//因为索引库红不存在所以根据盘古分词再次进行分词
FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NoLockFactory());
IndexReader reader = IndexReader.Open(directory, true);
IndexSearcher searcher = new IndexSearcher(reader);
//搜索条件
PhraseQuery query = new PhraseQuery();
foreach (string word in WebCommon.GetPanGuKW(kw))//先用空格，让用户去分词，空格分隔的就是词“计算机 专业”
{
query.Add(new Term("body", word));
}
//query.Add(new Term("body","语言"));--可以添加查询条件，两者是add关系.顺序没有关系.
//query.Add(new Term("body", "大学生"));
//query.Add(new Term("body", kw));//body中含有kw的文章
query.SetSlop(100);//多个查询条件的词之间的最大距离.在文章中相隔太远 也就无意义.（例如 “大学生”这个查询条件和"简历"这个查询条件之间如果间隔的词太多也就没有意义了。）
//TopScoreDocCollector是盛放查询结果的容器
TopScoreDocCollector collector = TopScoreDocCollector.create(1000, true);
searcher.Search(query, null, collector);//根据query查询条件进行查询，查询结果放入collector容器
ScoreDoc[] docs = collector.TopDocs(0, collector.GetTotalHits()).scoreDocs;//得到所有查询结果中的文档,GetTotalHits():表示总条数 TopDocs(300, 20);//表示得到300（从300开始），到320（结束）的文档内容.
//可以用来实现分页功能
this.listBox1.Items.Clear();
for (int i = 0; i < docs.Length; i++)
{
//
//搜索ScoreDoc[]只能获得文档的id,这样不会把查询结果的Document一次性加载到内存中。降低了内存压力，需要获得文档的详细内容的时候通过searcher.Doc来根据文档id来获得文档的详细内容对象Document.
int docId = docs[i].doc;//得到查询结果文档的id（Lucene内部分配的id）
Document doc = searcher.Doc(docId);//找到文档id对应的文档详细信息
this.listBox1.Items.Add(doc.Get("number") + "\n");// 取出放进字段的值
this.listBox1.Items.Add(doc.Get("body") + "\n");
this.listBox1.Items.Add("-----------------------\n");
}
WebCommon.GetPanGuKW(kw)
/// <summary>
/// 盘古分词把用户输入的关键词给切割按照盘古的字典
/// </summary>
/// <param name="text">用户输入</param>
/// <returns>list集合 切割好的词语</returns>
public static List<string> GetPanGuKW(string text)
{
List<string> list = new List<string>();
Analyzer analyzer = new PanGuAnalyzer();
TokenStream tokenStream = analyzer.TokenStream("", new StringReader(text));
Lucene.Net.Analysis.Token token = null;
while ((token = tokenStream.Next()) != null)
{
list.Add(token.TermText());
}
return list;
}
原文地址：http://www.cnblogs.com/lierjie/p/3836411.html
