标签:怎么 systemd move ystemd 相互 ant 是什么 sys uil
一,概述
官网地址:https://www.elastic.co/cn/products/elasticsearch
Elasticsearch是什么
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web 接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。 设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
Elasticsearch不仅仅是Lucene和全文搜索引擎,它还提供:
ElasticSearch的应用场景
全文检索:主要和 Solr 竞争,属于后起之秀。
NoSQL JSON文档数据库:主要抢占 Mongo 的市场,它在读写性能上优于 Mongo ,同时也支持地理位置查 询,还方便地理位置和文本混合查询。
监控:统计、日志类时间序的数据存储和分析、可视化,这方面是引领者。
国外:Wikipedia(维基百科)使用ES提供全文搜索并高亮关键字、StackOverflow(IT问答网站)结合全文搜 索与地理位置查询、Github使用Elasticsearch检索1300亿行的代码。
国内:百度(在云分析、网盟、预测、文库、钱包、风控等业务上都应用了ES,单集群每天导入30TB+数据, 总共每天60TB+)、新浪 、阿里巴巴、腾讯等公司均有对ES的使用。
使用比较广泛的平台ELK(ElasticSearch, Logstash, Kibana)。
二 ,基本概念
RESTful介绍
参考资料:
1. http://www.ruanyifeng.com/blog/2011/09/restful.html
2. http://www.ruanyifeng.com/blog/2018/10/restful-api-best-practices.html
REST : 表现层状态转化(Representational State Transfer),如果一个架构符合REST原则,就称它为 RESTful 架构风 格。
资源: 所谓"资源",就是网络上的一个实体,或者说是网络上的一个具体信息
表现层:我们把"资源"具体呈现出来的形式,叫做它的"表现层"(Representation)。
状态转化(State Transfer):如果客户端想要操作服务器,必须通过某种手段,让服务器端发生"状态转 化"(State Transfer)。而这种转化是建立在表现层之上的,所以就是"表现层状态转化"。就是HTTP协议里 面,四个表示操作方式的动词:GET、POST、PUT、DELETE。它们分别对应四种基本操作:GET用来获取资 源,POST用来新建资源(也可以用于更新资源),PUT用来更新资源,DELETE用来删除资源。
Elasticsearch中涉及到的重要概念
接近实时(NRT)
Elasticsearch是一个接近实时的搜索平台。这意味着,从索引一个文档直到这个文档能够被搜索到有一个轻微的延 迟(通常是1秒)
集群(cluster)
一个集群就是由一个或多个节点组织在一起,它们共同持有你整个的数据,并一起提供索引和搜索功能。一个集群 由一个唯一的名字标识,这个名字默认就是“elasticsearch”。这个名字是重要的,因为一个节点只能通过指定某个集 群的名字,来加入这个集群。在产品环境中显式地设定这个名字是一个好习惯,但是使用默认值来进行测试/开发 也是不错的。
节点(node)
一个节点是你集群中的一个服务器,作为集群的一部分,它存储你的数据,参与集群的索引和搜索功能。和集群类 似,一个节点也是由一个名字来标识的,默认情况下,这个名字是一个随机的漫威漫画角色的名字,这个名字会在 启动的时候赋予节点。这个名字对于管理工作来说挺重要的,因为在这个管理过程中,你会去确定网络中的哪些服 务器对应于Elasticsearch集群中的哪些节点。
一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下,每个节点都会被安排加入到一个叫 做“elasticsearch”的集群中,这意味着,如果你在你的网络中启动了若干个节点,并假定它们能够相互发现彼此,它 们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。
在一个集群里,只要你想,可以拥有任意多个节点。而且,如果当前你的网络中没有运行任何Elasticsearch节点, 这时启动一个节点,会默认创建并加入一个叫做“elasticsearch”的集群。
索引(index)
一个索引就是一个拥有几分相似特征的文档的集合。比如说,你可以有一个客户数据的索引,另一个产品目录的索 引,还有一个订单数据的索引。一个索引由一个名字来标识(必须全部是小写字母的),并且当我们要对对应于这 个索引中的文档进行索引、搜索、更新和删除的时候,都要使用到这个名字。索引类似于关系型数据库中Database 的概念。在一个集群中,如果你想,可以定义任意多的索引。
类型(type)
在一个索引中,你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区,其语义完全由你来 定。通常,会为具有一组共同字段的文档定义一个类型。比如说,我们假设你运营一个博客平台并且将你所有的数 据存储到一个索引中。在这个索引中,你可以为用户数据定义一个类型,为博客数据定义另一个类型,当然,也可 以为评论数据定义另一个类型。类型类似于关系型数据库中Table的概念。
文档(document)
一个文档是一个可被索引的基础信息单元。比如,你可以拥有某一个客户的文档,某一个产品的一个文档,当然, 也可以拥有某个订单的一个文档。文档以JSON(Javascript Object Notation)格式来表示,而JSON是一个到处存在 的互联网数据交互格式。
在一个index/type里面,只要你想,你可以存储任意多的文档。注意,尽管一个文档,物理上存在于一个索引之 中,文档必须被索引/赋予一个索引的type。文档类似于关系型数据库中Record的概念。实际上一个文档除了用户定 义的数据外,还包括 in d e x 、 type和_id字段
分片和复制(shards & replicas)
一个索引可以存储超出单个结点硬件限制的大量数据。比如,一个具有10亿文档的索引占据1TB的磁盘空间,而任 一节点都没有这样大的磁盘空间;或者单个节点处理搜索请求,响应太慢。
为了解决这个问题,Elasticsearch提供了将索引划分成多份的能力,这些份就叫做分片。当你创建一个索引的时 候,你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的“索引”,这个“索引”可以被放置 到集群中的任何节点上。 分片之所以重要,主要有两方面的原因:
1,允许你水平分割/扩展你的内容容量
2,允许你在分片(潜在地,位于多个节点上)之上进行分布式的、并行的操作,进而提高性能/吞吐量 至于一个 分片怎样分布,它的文档怎样聚合回搜索请求,是完全由Elasticsearch管理的,对于作为用户的你来说,这些 都是透明的。
在一个网络/云的环境里,失败随时都可能发生,在某个分片/节点不知怎么的就处于离线状态,或者由于任何原因 消失了。这种情况下,有一个故障转移机制是非常有用并且是强烈推荐的。为此目的,Elasticsearch允许你创建分 片的一份或多份拷贝,这些拷贝叫做复制分片,或者直接叫复制。复制之所以重要,主要有两方面的原因:
1,在分片/节点失败的情况下,提供了高可用性。因为这个原因,注意到复制分片从不与原/主要 (original/primary)分片置于同一节点上是非常重要的。 2,扩展你的搜索量/吞吐量,因为搜索可以在所有的复制上并行运行
总之,每个索引可以被分成多个分片。一个索引也可以被复制0次(意思是没有复制)或多次。一旦复制了,每个 索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分片和复制的数量可以在索引 创建的时候指定。在索引创建之后,你可以在任何时候动态地改变复制数量,但是不能改变分片的数量。
默认情况下,Elasticsearch中的每个索引被分片5个主分片和1个复制,这意味着,如果你的集群中至少有两个节 点,你的索引将会有5个主分片和另外5个复制分片(1个完全拷贝),这样的话每个索引总共就有10个分片。一个 索引的多个分片可以存放在集群中的一台主机上,也可以存放在多台主机上,这取决于你的集群机器数量。主分片 和复制分片的具体位置是由ES内在的策略所决定的。
映射(Mapping)
Mapping是ES中的一个很重要的内容,它类似于传统关系型数据中table的schema,用于定义一个索引(index)的 某个类型(type)的数据的结构。
在ES中,我们无需手动创建type(相当于table)和mapping(相关与schema)。在默认配置下,ES可以根据插入的数 据自动地创建type及其mapping。
mapping中主要包括字段名、字段数据类型和字段索引类
三、Elasticsearch环境搭建
准备工作
CentOS(版本需大于 7 如: C e n t O S - 7 - x 8 6 _6 4 - Minim al- 1 8 0 4.is o )
Java(版本需大于 1.8 如: jd k - 8 u 1 8 1 -lin u x - x 6 4.r p m )
ES安装包(如: ela s tic s e a r c h - 6.4.0.t a r.g z
环境搭建
。。。此处省去jdk安装
安装ES
[root@localhost ~]# tar -zxvf elasticsearch-6.4.0.tar.gz -C /usr
启动
[root@localhost elasticsearch-6.4.0]# bin/elasticsearch
出现异常: Caused by: java.lang.RuntimeException: can not run elasticsearch as root 原因:ES不允许通过ROOT用户启动
解决方案:
[root@localhost elasticsearch-6.4.0]# groupadd es [root@localhost elasticsearch-6.4.0]# useradd -g es es [root@localhost elasticsearch-6.4.0]# chown -R es:es /usr/elasticsearch-6.4.0/ [root@localhost elasticsearch-6.4.0]# ll
total 436
drwxr-xr-x. 3 es es 4096 Dec 18 01:15 bin
drwxr-xr-x. 2 es es 178 Dec 18 01:16 config
drwxr-xr-x. 3 es es 4096 Aug 17 19:23 lib -rw-r--r--. 1 es es 13675 Aug 17 19:11 LICENSE.txt
drwxr-xr-x. 2 es es 218 Dec 18 01:16 logs
drwxr-xr-x. 27 es es 4096 Aug 17 19:23 modules -rw-r--r--. 1 es es 401465 Aug 17 19:22 NOTICE.txt
drwxr-xr-x. 2 es es 6 Aug 17 19:22 plugins -rw-r--r--. 1 es es 8511 Aug 17 19:11 README.textile [root@localhost elasticsearch-6.4.0]# su es [es@localhost elasticsearch-6.4.0]$ bin/elasticsearch
测试
[root@localhost ~]# curl -X GET localhost:9200 { "name": "x0vIhEF", "cluster_name": "elasticsearch", "cluster_uuid": "Cpga8etSTu6LmcYm35QqkA", "version": { "number": "6.4.0", "build_flavor": "default", "build_type": "tar", "build_hash": "595516e", "build_date": "2018-08-17T23:18:47.308994Z", "build_snapshot": false, "lucene_version": "7.4.0", "minimum_wire_compatibility_version": "5.6.0", "minimum_index_compatibility_version": "5.0.0" }, "tagline": "You Know, for Search" }
配置远程访问
[root@localhost elasticsearch-6.4.0]# vim config/elasticsearch.yml 51 #---------------------------------- Network---------------------------------- 52 # 53 # Set the bind address to a specific IP (IPv4 or IPv6): 54 # 55 network.host: 192.168.XX.XX 56 # 57 # Set a custom port for HTTP: 58 # 59 #http.port: 9200 60 # 61 # For more information, consult the network module documentation. 62 # 63 # --------------------------------- Discovery ---------------------------------
重新启动ES服务,出现异常:
ERROR: [3] bootstrap checks failed [1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536] [2]: max number of threads [3802] for user [es] is too low, increase to at least [4096] [3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
解决(切换到root用户):
[root@localhost elasticsearch-6.4.0]# vim /etc/security/limits.conf # 添加以下内容 * soft nofile 65536 * hard nofile 131072 * soft nproc 2048 * hard nproc 4096 [root@localhost elasticsearch-6.4.0]# vim /etc/sysctl.conf # 添加以下内容 vm.max_map_count=655360 [root@localhost elasticsearch-6.4.0]# sysctl -p vm.max_map_count = 65536 [root@localhost elasticsearch-6.4.0]# reboot [root@localhost ~]# systemctl stop firewalld [root@localhost ~]# systemctl disable firewalld Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service. Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
测试访问
标签:怎么 systemd move ystemd 相互 ant 是什么 sys uil
原文地址:https://www.cnblogs.com/lhc-hhh/p/13175589.html