标签：publish json 项目 java 英语 base 领域 常用 boolean
[toc]
优点:高效,准确,分词
全文检索允许用户输入一些关键字，从数据层中查找到所需要的信息
lucene是一个是一个开源的全文检索引擎库,Apache基金会赞助项目.无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库(《Elastic Search 权威指南》)。lucene有很多优点,包括:它的文本分析器可以定制，检索文件存储方式可以定制，查询引擎也有不同的可选方案.此外，它提供一套非常强大的API接口，使客户用起来很方便.
lucene是一个非常强大的全文检索引擎库，但是遗憾的是，它是一个库，想要使用它，你必须使用Java来作为开发语言并将其直接集成到你的应用中，更糟糕的是，Lucene非常复杂，你需要深入了解检索的相关知识来理解它是如何工作的。
Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。
ES的安装很简单,即装即用.去官网下载ES下载地址,在任何配置了java运行环境的电脑上后将压缩文件解压缩即可.
解压后进入解压下的bin文件夹,启动elasticserach.bat(windows系统),如下:
启动后进入cmd窗口,如下图所示即成功启动:
然后我们打开浏览器访问以下ES,输入http:localhost:9200,如下即为成功运行:
ES是数据存储是面向文档的,数据的存储形式是以对象的形式(JSON)来存储的,而不是像关系型数据库一样把数据抽象一行行记录去适应数据库.同时在存储的时候,ES还会索引每条数据内容使得每条内容可以被搜索.
ES存储的相关概念与传统关系型数据库的对比:
其中的fields(字段)就相当于关系型数据库的列;多个字段组成一个Document(文档)相当于关系型数据库的行(一条数据);相同类型的Documents组成一个type(类型),相当于关系型数据库的一张数据表;而多个types就会组成一个index(索引),相当于关系型数据的数据库.关系对应如下:
Relational DB -> Databases -> Tables -> Rows -> Columns
Elasticsearch -> Indices -> Types -> Documents -> Fields
ES对提供的REST ful接口,任何对数据的操作和查询都可以通过想ES发送HTTP请求来完成.关于RESTful协议的相关知识可以参照一下RESTful API 设计指南,了解一下RESTful协议能共更容易理解ES提供的接口.
现在我们要建立一个所以,按照ES提供的RESTful接口,我们应该对ES发一个PUT请求,如下:
需要注意的是index名字里的字母都必须是小写.
如果成功,我们会获取如下的返回结果:
{
"acknowledged": true
}然后我们再向ES发送GET请求,来获取我们刚刚创建的testindex的属性:
结果如下:
{
"testindex": {
"aliases": {},
"mappings": {},
"settings": {
"index": {
"creation_date": "1465748163064",
"uuid": "uYyeZC_bQ1Olwe8lDrqXaw",
"number_of_replicas": "1",
"number_of_shards": "5",
"version": {
"created": "2030399"
}
}
},
"warmers": {}
}
}相关的tpye,document最简单的增删查改也都可以通过PUT GET POST DELET 几个常用的请求来完成,这里就不做详细的介绍了,详细的可以查看ElasticSearch权威指南中文版了解一下.
mapping可以理解为描述index/type以及field的元数据,通过mapping我们可以来设置index/type/field.
单独的生成或者更新type的mappiing
{
"properties": {
"activateTiem": {
"type": "date",
"format": "yyyy-MM-dd"
},
"title": {
"type": "string",
"boost": 10,
"store": true,
"analyzer": "ik"
}
}
}参考文档:更新mapping
通常我们需要在构建mapping的时候来设置一些常用的属性,主要是包括字段的类型,是否被分词,分词使用的分词器,分词时候自己所占的比重等,如下:
- type:类型,包括date,string,boolean,integer等,跟常用的类型跟java很相似,同时也有array类型可以直接存储数组.
其余的更多的类型可以参考官方文档mapping
ES为了能够更好的进行查询,在保存数据之前,都会对数据进行索引(动词),那么在这个所以过程里面,ES都做了什么?
ES会对文档进行一系列的操作和处理,是他们能够更容易被搜索.它包括如下的几个过程:
字符过滤器的主要工作室对原始数据的特殊字符进行过滤和处理,比如去除掉文档中的html标签,把&变成单词"and"等等
所谓的分词器就是指某种算法,这个算法会按照自己的对文档(经过字符过滤器处理过的文档)进行处理,提取若干的单词,这些被提取出来的单词就成为词元(Token),顾名思义,这些词元已经是最小的不能分割了.
标记过滤(token filters)会对词元(Token)进行进一步的处理,处理细节包括一些将单词的大写变成小写、去除英语中的连词或者介词(to,for,of等)、去除汉语中的语气词等、进一步保证最后剩下的单词都是有明确的自然语义的词，这些剩下的单词就被称作词（term）
到此整个文档分析阶段就结束了
Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列表，以及对于每个单词在文档中的位置组成。
分词结束后,es会根据分词的结果词(term)构建出一个倒序索引用于快速查询.
在索引阶段es做的另一件事就是计算不同词(term)在不同文档中的相关度评分,这个评分会用在之后查询时候的查询结果的排序上,默认的会将相关度较高的文档排在最前面
当我们需要查询的时候,最简单的,我们可以向ES发送一个get请求,构造一个查询的url,如下
默认的,会ES会发挥my_index下的所有数据,如果数据过多ES会自动进行分页处理显示一部分数据(默认是10个).会返回如下形式的结果:
{
"took": 62,
"timed_out": false,
"_shards": {
"total": 5,
"successful": 5,
"failed": 0
},
"hits": {
"total": 1,
"max_score": 1,
"hits": [
{
"_index": "my_index",
"_type": "my_type",
"_id": "1",
"_score": 1,
"_source": {
"title": "Some short title",
"date": "2015-01-01",
"content": "A very long content field..."
}
}
]
}
}
如果我们需要分页功能,就需要在get请求的url中加入size和from俩个参数,size表示分页大小,from表示开始位置,如下:
如果需要模糊查询,可以在URL参数中附加一个q(query的意思)参数,如下:
GET http://localhost:9200/my_index/_search?q=title:Some
意思是查询my_index下title中包含"Some"的数据.
通过URL参数控制,我们只能进行一下简单的查询,但是在实际过程中,我们通产的查询条件都要更加复杂,这时候我们就需要使用另一种适用于复杂查询的方式--结构体查询.
按照rest ful协议,我们也是应该想ES发送GET请求来获取ES中的数据,但是在日常开发中,很多地方都不允许在GET请求上附加body数据,因此ES中我们也可以通过POST来获取ES中的数据.发送POST请求的时候,除了请求方式之外,URL和数据体body都跟GET的完全相同(以下都以POST请求为例)
query
query部分是查询的核心部分,提供了包括模糊查询,精确过滤,多查询条件联合的复杂查询模式.例如:
{
"query": {
"bool": {
"must": [
{ "match": { "title": "Search" }},
{ "match": { "content": "Elasticsearch" }}
],
"filter": [
{ "term": { "status": "published" }}
]
}
}
}上面的body的大意是要搜索title中即包含"search"并且content中包含"elasticsearch",同时status为"published"数据.关于query有专门的queryDSL来规定query的形式,在后面文档中会介绍.
from/size 分页
from/size与url中相同,同样是用来进行分页的参数,如下:
{
"from" : 0, "size" : 10,
"query" : {
"term" : { "user" : "kimchy" }
}
}sort 排序
sort部分会按照给定的规则对搜索结果进行排序,如
{
"sort" : [
{ "post_date" : {"order" : "asc"}},
{ "price" : {"order" : "asc"}}
],
"query" : {
"term" : { "user" : "kimchy" }
}
}如上,sort会优先按照post_date进行正序排序,当post_date相同的时候在按照price进行正序排序.特别的在日常的查询中,查询结果通常都会有相关的_scroe评分,默认的,ES会按照_score对搜索结果进行性倒叙排序,是的相关度最高的文档在最前方显示.
fields
fields字段会对文档进行过滤,是查询结果只返回指定的字段,例如:
当不是用fields字段的时候,body如下:
{
"query":{
"match":{"title":"some"}
}
}查询的返回结果默认的会包含所有保存的字段:
{
"_index": "my_index",
"_type": "my_type",
"_id": "1",
"_score": 0.15342641,
"_source": {
"title": "Some short title",
"date": "2015-01-01",
"content": "A very long content field..."
}
}当我们使用fields的时候,body如下:
{
"fields":["title"],
"query":{
"match":{"title":"some"}
}
}返回结果的数据部分指挥显示title字段:
{
"_index": "my_index",
"_type": "my_type",
"_id": "1",
"_score": 0.15342641,
"fields": {
"title": [
"Some short title"
]
}
}highlight
highlight部分用来控制搜索结果的高亮显示.很多时候,当我们进行全文检索的时候都会对搜索结果中的搜索关键字进行高亮以突出显示,这时候就需要用到highlight,如发送如下body的请求:
{
"query":{
"match":{"title":"some"}
},
"highlight" : {
"pre_tags" : ["<b>"], //设置高亮的前 后html标签
"post_tags" : ["</b>"],
"fields" : {
"title" : {}
}
}
}在返回的数据部分,我们会得到高亮的字段,如下
{
"_index": "my_index",
"_type": "my_type",
"_id": "1",
"_score": 0.15342641,
"_source": {
"title": "Some short title",
"date": "2015-01-01",
"content": "A very long content field..."
},
"highlight": {
"title": [
"<b>Some</b> short title" //这里是高亮显示的关键字
]
}
}ES的主要任务是通过全文搜索引擎进行全文搜索,在ES提供的接口中,这部分任务主要由请求体中的query部门来完成的.而query DSL就是来解释query的用法.
标签：publish json 项目 java 英语 base 领域 常用 boolean
原文地址：http://www.cnblogs.com/Jeremy2001/p/7152119.html
