Sphinx安装流程及配合PHP使用经验

#配置源
source sphinx_t0 #数据库名_数据表名，每配置一个数据表，都需要写上一个配置源
{
    type                    = mysql #数据库类型

    sql_host                = localhost
    sql_user                = root
    sql_pass                = 123123
    sql_db                    = sphinx #指定数据库
    sql_port                = 3306    # optional, default is 3306
    sql_sock                 = /tmp/mysql.sock #mysql接口
    
    #从数据库之中读取数据的SQL语句设置
    #在这里尽可能不使用where或groupby，
    #将where与groupby的内容交给sphinx，由sphinx进行条件过滤与groupby效率会更高
    #注意：select的字段必须包括一个唯一主键以及要全文检索的字段（可以有多个）、输出的字段。
    #where中要用到的字段也要select出来
    #例：
    #在配置sql语句，可以先写出一句预计要执行的sql语句，然后根据sphinx规定设置
    #select * from t0 where description like ‘%广州%‘ or name like ‘%s%‘
    #=> select id,description,name,age from t0
    
    sql_query                =         SELECT id, name, age, description,group_id,date_added         FROM t0
        
    sql_attr_uint            = age
    #使用sql_attr设置的字段(搜索条件)，只能作为属性，使用SphinxClient::SetFilter()进行过滤；
    #未被设置的字段，自动作为全文检索的字段，使用SphinxClient::Query("搜索字符串")进行全文搜索
    #sql_query第一列id需为整数，且被系统使用，无需再设置sql_attr_uint
    
    sql_attr_uint            = group_id
    sql_attr_timestamp        = date_added #定义不同类型的字段要用不同的属性名,比如上面的sql_attr_timestamp就是时间戳类型

    #sql_query_info            = SELECT * FROM documents WHERE id=$id  #命令行查询时，从数据库读取原始数据信息 
    #在执行sql_query前执行的sql命令, 可以有多条 
    sql_query_pre           = SET NAMES utf8 #执行sql字符编码
}

#索引，每一源需要一个索引
index sphinx_t0 #索引名字一般与配置源一致
{
    source                    = sphinx_t0 #source 关联源
    path                    = /usr/local/coreseek/var/data/sphinx_t0 #索引文件存放路径，每个索引文件一个
    docinfo                 = extern
    charset_dictpath        = /usr/local/mmseg/etc/ #指明分词法读取词典文件的位置，当启用分词法时，为必填项。在使用LibMMSeg作为分词 库时，需要确保词典文件uni.lib在指定的目录下 
    charset_type            = zh_cn.utf-8 #字符编码
}

#索引，控制所有索引
indexer
{
    mem_limit                = 512M #内存
}

#sphinx守护进程配置 
searchd
{
    port                    = 9312 #端口
    log                        = /usr/local/coreseek/var/log/searchd.log
    query_log                = /usr/local/coreseek/var/log/query.log
    read_timeout            = 5 #超时
    max_children            = 30 #最大连接数
    pid_file                = /usr/local/csft/var/log/searchd.pid #pid文件路径 
    max_matches                = 1000 #max_matches最大匹配数，也就是查找的数据再多也只返回这里设置的1000条
    seamless_rotate            = 1
    preopen_indexes            = 0
    unlink_old                = 1
}

<?php 
    header(‘Content-Type:text/html;charset=utf-8‘);    //编码为utf-8
　　include ‘sphinxapi.php‘;  // 加载Sphinx API,网上下载
    $list= array();
    if(!empty($_POST)){
        $sc = new SphinxClient(); // 实例化Api
        $sc->setServer(‘192.168.1.108‘, 9312); // 设置服务端，第一个参数sphinx服务器地址，第二个sphinx监听端口
        $res = $sc->query($_POST[‘key‘], ‘sphinx_t0‘); // 执行查询，第一个参数查询的关键字，第二个查询的索引名称，mysql索引名称（这个也是在配置文件中定义的），多个索引名称以,分开，也可以用*表示所有索引。
        // print_r($sc);
        print_r($res);exit;     
    }   
?>
<form action="" method="post">
<input type="text" name="key" />
<input type="submit" value="提交" />
</form>
?>

<?php
ini_set(‘display_errors‘, ‘On‘);
error_reporting(E_ALL);
date_default_timezone_set (‘Asia/Shanghai‘);
set_time_limit(0);

$buffer    = ini_get(‘output_buffering‘);
if($buffer){
    ob_end_flush();
}
//注意文件的编码格式是utf8
echo ‘处理新词库...‘.PHP_EOL;  //PHP_EOL windwos相当于‘\r\n‘,unix\linux相当于‘\n‘
flush();
$filename       = "words.txt";
$handle         = fopen ($filename, "r");
$content        = fread ($handle, filesize ($filename));
fclose ($handle);
$content      =    trim($content);
$arr1         =     explode( "\r\n" ,$content );
// print_r($arr1);exit;
$arr1         =    array_flip(array_flip($arr1));  //反转数组的键值,剔除重复的值
foreach($arr1 as $key=>$value){
    
    $value  =   dealchinese($value);
    if(!empty($value)){
        $arr1[$key] = $value;
    }else{
        unset($arr1[$key]);
    }
}
// print_r($arr1);exit;
echo ‘处理原来词库...‘.PHP_EOL;
flush();
$filename2     = "unigram.txt";
$handle2     = fopen ($filename2, "r");
$content2     = fread ($handle2, filesize ($filename2));
fclose ($handle2);
$content2    = dealchinese($content2,"\r\n");

$arr2         = explode( "\r\n" ,$content2 );

echo ‘删除相同词条...‘.PHP_EOL;
flush();
$array_diff    = array_diff($arr1,$arr2);

echo ‘格式化词库...‘.PHP_EOL;
flush();
$words=‘‘;
foreach($array_diff as $k => $word){
    $words .= $word."\t1".PHP_EOL."x:1".PHP_EOL;
}
//echo $words;
file_put_contents(‘words_new.txt‘,$words,FILE_APPEND); //写入文件
echo ‘done!‘;

function dealChinese($str, $join=‘‘){
   
    preg_match_all(‘/[\x{4e00}-\x{9fff}]+/u‘, $str, $matches); //将中文字符全部匹配出来

    $str = join($join, $matches[0]); //从匹配结果中重新组合
    return $str;
}

?>