https://www.cnblogs.com/findgor/p/5644540.html 公司项目刚刚导入大量产品数据,然后发现网站的产品搜索很卡,原本是原生sql的like来做模糊搜索,数据量20W的时候还可以接受,但是上百万就很卡了,所以需要做优化。 经过考虑,打算采用全文检索 sphinx ...
分类:
其他好文 时间:
2018-05-07 16:44:36
阅读次数:
344
导读:最近在线上由于某些不可名状的原因需要在数据库中过滤一些词语,所以线上比较多的语句都是selectc1,c2frontb1wherec1like‘%name%‘类似与这个样子的模糊查询。开始想到了全文索引来进行分词,但是又想到这些都是线上数据库,并且表中的数据都是几千万行的数据,在线onlineddl或者说使用第三方的工具的话对于在修改期间会阻塞线上的DML操作,并且针对全文索引的维护也需要消
分类:
数据库 时间:
2017-12-19 19:48:58
阅读次数:
345
一、Sphinx简介 1. Sphinx是什么? 中文名:全文索引引擎。只支持英文和俄文。但是只要有相应的语言包也可支持任何语言。国内有一团队在Sphinx基础上封装了一个带中文包的软件:coreseek。 2. 为什么要用Sphinx? 在mysql数据库中,对于如下sql语句,select * ...
分类:
Web程序 时间:
2017-04-22 14:34:49
阅读次数:
254
Sphinx是一个基于SQL的全文检索引擎,可以结合MySQL,PostgreSQL做全文搜索,它可以提供比数据库本身更专业的搜索功能,使得应用 程序更容易实现专业化的全文检索。Sphinx特别为一些脚本语言设计搜索API接口,如PHP,Python,Perl,Ruby等,同时为MySQL 也设计了 ...
分类:
其他好文 时间:
2017-04-15 13:36:53
阅读次数:
228
一、sphinx 全文检索 通过sphinx检索到id,然后到mysql里面拿到记录 什么是劝我呢检索?结构化数据: 具有固定格式或者长度的数据非结构化数据: 标题 内容 等不定长的数据非机构化数据还叫做"全文数据" 检索分为两个过程:索引创建 和 搜索索引 检索结构php -> sphinx -> ...
分类:
其他好文 时间:
2017-01-03 22:03:46
阅读次数:
293
coreseek/api目录下提供了PHP的接口文件 sphinxapi.php,这个文件包含一个SphinxClient的类 在PHP引入这个文件,new一下 $result是一个数组,其中 total是匹配到的数据总数量 matches是匹配的数据,包含id,attrs这些信息 words是搜索 ...
分类:
Web程序 时间:
2016-11-17 13:52:43
阅读次数:
317
社工库的规模越来越大,MSSQL的查询速度已经不够用了,改用全文检索,目前效果不错,全库在650G左右,索引160G,全文检索响应时间在5秒以内。 主要参考了The Web Of Answers的一个搭建帖子,具体链接找不到了,做了很多修改和改进,便于添加新库。 给出一些配置信息,有兴趣的同学可以留 ...
分类:
数据库 时间:
2016-07-25 06:57:29
阅读次数:
237
公司项目刚刚导入大量产品数据,然后发现网站的产品搜索很卡,原本是原生sql的like来做模糊搜索,数据量20W的时候还可以接受,但是上百万就很卡了,所以需要做优化。 经过考虑,打算采用全文检索 sphinx + 数据库中间件(atlas/mycat) 的架构来优化. 我的环境: centos6.5 ...
分类:
其他好文 时间:
2016-07-05 18:31:49
阅读次数:
196
前一阵子尝试使用了一下Sphinx,一个能够被各种语言(PHP/Python/Ruby/etc)方便调用的全文检索系统。网上的资料大多是在linux环境下的安装使用,当然,作为生产环境很有必要部署在*nix环境下,作为学习测试,还是windows环境比较方便些。本文旨在提供一种便捷的方式让Sphin...
1.sphinx全文检索引擎,有分tar.gz包安装和rpm包安装2.目前本人用的是rpm包进行安装,经过一番折腾,终于安装成功。3.安装rpm时遇到的问题:如图解决方式:下载依赖包。历时三个步骤下载安装.前两个需要下载,第三个直接安装rpm-ivhMySQL-shared-compat-5.1.47-1.rhel5.x86_64...
分类:
系统相关 时间:
2014-07-17 16:01:26
阅读次数:
357