互联网时代各种存储框架层出不穷,眼花缭乱,比如传统的关系型数据库:Oracle、MySQL;新兴的NoSQL:HBase、Cassandra、Redis;全文检索框架:ES、Solr等。如何为自己的业务选取合适的存储方案,相信大家都思考过这个问题,本文简单聊聊我对MySQL、HBase、ES的理解, ...
分类:
数据库 时间:
2018-06-25 20:21:48
阅读次数:
278
-------------------linux下配置操作1、在虚拟环境中依次安装包1、pipinstalldjango-haystackhaystack:django的一个包,可以方便地对model里面的内容进行索引、搜索,设计为支持whoosh,solr,Xapian,Elasticsearc四种全文检索引擎后端,属于一种全文检索的框架2、pipinstallwhooshwhoosh:纯Pyt
分类:
其他好文 时间:
2018-06-20 12:56:48
阅读次数:
152
Solr简介 1. 企业站内搜索技术选型在一些大型门户网站、电子商务网站等都需要站内搜索功能,使用传统的数据库查询方式实现搜索无法满足一些高级的搜索需求,比如:搜索速度要快、搜索结果按相关度排序、搜索内容格式不固定等,这里就需要使用全文检索技术实现搜索功能。2. 使用solr的好处基于 Solr 实 ...
分类:
其他好文 时间:
2018-06-19 17:18:53
阅读次数:
226
博客地址:http://www.moonxy.com 一、前言 Lucene 是 apache 软件基金会的一个子项目,由 Doug Cutting 开发,是一个开放源代码的全文检索引擎工具包,但它不是一个完整的全文检索引擎,而是一个全文检索引擎的库,提供了完整的查询引擎和索引引擎,部分文本分析引擎 ...
分类:
Web程序 时间:
2018-06-17 23:24:36
阅读次数:
350
一、ES简介 1. ES是什么? Elasticsearch 是一个开源的搜索引擎,建立在全文搜索引擎库 Apache Lucene 基础之上 用 Java 编写的,它的内部使用 Lucene 做索引与搜索,但是它的目的是使全文检索变得简单, 通过隐藏 Lucene 的复杂性,取而代之的提供一套简单 ...
分类:
其他好文 时间:
2018-06-16 18:50:43
阅读次数:
359
1. 全文检索的通用步骤: 1、建库步骤: a 分词 b 倒排索引 : 关键词和记录Id的对应关系,1对多。 2、查询步骤: a 分词 b 查索引 c 取交集或并集 2. 产品使用全文检索的一种场景 如上图, 由数据库或者应用软件生成数据,通过logstash导入elasticSearch系统。 K ...
分类:
其他好文 时间:
2018-06-15 23:31:21
阅读次数:
292
在少量数据中进行数据查询时,可以使用使用顺序扫描法逐条扫描,但是在数据量比较大时,顺序扫描法可能会比较耗时,这是就需要借助索引的功效。新华字典就是使用目录作为一个索引查找所需要的数据。全文检索引擎也是借助索引实现。全文检索的过程归结为两步:1、索引创建,2、搜索索引。全文检索的结构图如下: 索引 s ...
分类:
其他好文 时间:
2018-06-02 15:24:19
阅读次数:
241
DSL(介绍查询语言) 下面示例省略了HTTP请求GET /bank/_search 查询所有,按age升序 { "query": { "match_all": {} }, "sort": { "age": "asc" }, "from": 10, "size": 10} match_all :部分 ...
分类:
其他好文 时间:
2018-05-29 00:20:47
阅读次数:
151
一、开启SQL Full-text服务: 保证 SQL Full-text Filter Daemon Launcher服务处于开启状态,不同版本SQLServer全文检索服务名称可能稍有不同,如果服务列表中没有这个服务,请使用SQLServer安装光盘安装“全文检索”组件。 二、 启用全文检索 执 ...
分类:
数据库 时间:
2018-05-26 15:57:30
阅读次数:
226
网易公司(NASDAQ: NTES)是中国的互联网公司,利用互联网技术,加强人与人之间信息的交流和共享,实现“网聚人的力量”。创始人兼CEO是丁磊。在开发互联网应用、服务及其它技术方面,网易在推出了包括中文全文检索、全中文大容量免费邮件系统、无限容量免费网络相册、免费电子贺卡站、网上虚拟社区、网上拍 ...
分类:
其他好文 时间:
2018-05-25 21:25:30
阅读次数:
184