标签：des blog http io ar os 使用 sp strong
Sphinx是由俄罗斯人Andrew Aksyonoff开发的一个全文检索引擎。意图为其他应用提供高速、低空间占用、高结果 相关度的全文搜索功能。Sphinx可以非常容易的与SQL数据库和脚本语言集成。当前系统内置MySQL和PostgreSQL 数据库数据源的支持，也支持从标准输入读取特定格式 的XML数据。
Sphinx的特性如下：
a) 高速的建立索引(在当代CPU上，峰值性能可达到10 MB/秒);
b) 高性能的搜索(在2 – 4GB 的文本数据上，平均每次检索响应时间小于0.1秒);
c) 可处理海量数据(目前已知可以处理超过100 GB的文本数据, 在单一CPU的系统上可 处理100 M 文档);
d) 提供了优秀的相关度算法，基于短语相似度和统计（BM25）的复合Ranking方法;
e) 支持分布式搜索;
f) 支持短语搜索
g) 提供文档摘要生成
h) 可作为MySQL的存储引擎提供搜索服务;
i) 支持布尔、短语、词语相似度等多种检索模式;
j) 文档支持多个全文检索字段(最大不超过32个);
k) 文档支持多个额外的属性信息(例如：分组信息，时间戳等);
l) 支持断词;
虽然mysql的MYISAM提供全文索引，但是性能却不敢让人恭维，另外数据库毕竟不是很善于做这样的事情，我们需要把这些活让给更适合的程序去做，减少数据库的压力。因此采用Sphinx来做mysql的全文索引工具是一个很好的选择。
wget http://www.sphinxsearch.com/downloads/sphinx-0.9.9.tar.gz
tar xzvf sphinx-0.9.9.tar.gz
cd sphinx-0.9.9
./configure --prefix=/usr/local/sphinx/ --with-mysql --enable-id64
make
make install
sphinx配置文件在安装目录的etc下 例如安装目录在/usr/local/sphinx
那么默认的配置文件就在/usr/local/sphinx/etc/sphinx.conf
使用 cp ./sphinx.conf.dist sphinx.conf 创建配置文件
sphinx配置文件的结构
Source 源名称1{
#添加数据源，这里会设置一些连接数据库的参数比如数据库的IP、用户名、密码等
#设置sql_query、设置sql_query_pre、设置sql_query_range等后面会结合例子做详细介绍
#定义数据库类型
type = mysql
#定义数据库的IP或者计算机名
sql_host = localhost
#定义连接数据库的帐号
sql_user = root
#定义链接数据库的密码
sql_pass = test123
#定义数据库名称
sql_db = test
#定义连接数据库后取数据之前执行的SQL语句
sql_query_pre = SET NAMES utf8
sql_query_pre = SET SESSION query_cache_type=OFF
#定义取数据的SQL，第一列ID列必须为唯一的正整数值
sql_query = select content from post where id=$id
}
Index 索引名称1{
Source=源名称1
#设置全文索引
}
Indexer{
#定义生成索引过程使用索引的限制
mem_limit = 512M
}
Searchd{
#设置Searchd守护进程本身的一些参数
}
Coreseek是现在用的最多的sphinx中文全文检索，它提供了为Sphinx设计的中文分词包LibMMSeg ，是基于sphinx的基础上开发的。
tar xzvf coreseek-3.2.14.tar.gz cd cd mmseg-3.2.14 ./bootstrap #输出的warning信息可以忽略，如果出现error则需要解决 ./configure --prefix=/usr/local/mmseg make && make install
cd csft-3.2.14 ./configure --prefix=/usr/local/coreseek \
--with-mmseg \
--with-mmseg-includes=/usr/local/mmseg/include/mmseg/ \
--with-mmseg-libs=/usr/local/mmseg/lib/ --with-mysql=/usr/local/mysql make && make install
配置coreseek和配置sphinx类似
#以下部分为中文分词核心配置
#stopwords = /path/to/stowords.txt的位置
charset_dictpath = /usr/local/mmseg3/etc/
charset_type = zh_cn.utf-8
#charset_table = .................... #需将原有的该配置注释掉
ngram_len = 0
#以上部分为中文分词核心配置
配置介绍
中文分词核心配置说明：
charset_dictpath=/usr/local/mmseg3/etc/
必须设置，表示词典文件的目录，该目录下必须有uni.lib词典文件存在；
uni.lib词典文件的制作，请参考：mmseg词典的构造；特别注意，更换或者修改词典后，需要重新索引数据并重启searchd才能生效。
因为BSD/linux默认安装在/usr/local/mmseg3/etc下面，则使用/usr/local/mmseg3/etc/即可；
如果是在Windows系统下，则为词典所在的实际路径，结尾必须使用/，例如：F:\coreseek-3.2.13-win32\etc/
测试时，如果出现Unigram dictionary load Error或者Segmentation fault，一般为词典路径设置不正确。
charset_type=zh_cn.utf-8
必须设置，表示启用中文分词功能；否则中文分词功能无效，使用sphinx的其他处理模式。
启用中文分词功能后，需要source数据源之中，读取的数据编码字符集为UTF-8，否则无法正确处理；
如果是xml，则正确输出为UTF-8编码格式即可；
如果是MySQL，则设置读取数据输出字符集为UTF-8即可：
MySQL4.1起可以通过SET NAMES UTF8设定输出字符集为UTF-8，即使原始数据为GBK也可；
MySQL4.1以下版本，请直接联系我们解决GBK或者Latin1输出为UTF-8问题；
#stopwords=/path/to/stowords.txt的位置
可选设置，表示停止词文件，该文件中的词汇（也可以为单字）不参与搜索；文件格式为普通UTF-8文本文件，每行一个；
#charset_table=......
ngram_len=0
必须设置，表示取消原有的一元字符切分模式，不使其对中文分词产生干扰；
charset_table的配置需要注释掉！
ngram_len的配置需要设置为0！
标签：des blog http io ar os 使用 sp strong
原文地址：http://www.cnblogs.com/tl542475736/p/4083862.html
