如何开发自己的搜索帝国之Elasticsearch

标签：测试   href   查询   工具   策略   环境变量   处理   环境   下载地址   

搜索引擎是什么?

Elasticsearch是什么?

ES基础架构

ElasticSearch vs Solr 总结

　　（1）二者安装都很简单。

　　（2）Solr 利用 Zookeeper 进行分布式管理，而 Elasticsearch 自身带有分布式协调管理功能。

　　（3）Solr 支持更多格式的数据，比如JSON、XML、CSV，而 Elasticsearch 仅支持json文件格式。

　　（4）Solr 官方提供的功能更多，而 Elasticsearch 本身更注重于核心功能，高级功能多有第三方插件提供

　　（5）Solr 在传统的搜索应用中表现好于 Elasticsearch，但在处理实时搜索应用时效率明显低于 Elasticsearch。

　　（6）Solr 是传统搜索应用的有力解决方案，但 Elasticsearch 更适用于新兴的实时搜索应用。

　　三台机器做集群：192.168.80.30、192.168.80.32、192.168.80.33

环境

　　CentOS7.0

       Java1.8

下载

　　下载地址：https://www.elastic.co/products/elasticsearch

　　下载后上传到CentOS中的/usr/local/ 文件夹中，并解压到当前文件中重命名为elasticsearch530   /usr/local/elasticsearch530

tar -zxvf elasticsearch-5.3.0.tar.gz

创建 elsearch运行账户和组

groupadd elsearch #添加elsearch组
useradd -g elsearch elsearch -s /bin/false

chown -R elsearch:elsearch elasticsearch530

配置参数

cluster.name: es-application #这是集群名字，我们 起名为 es-application。es启动后会将具有相同集群名字的节点放到一个集群下。
node.name: "es-node1" #节点名字。
covery.zen.minimum_master_nodes: 1 #指定集群中的节点中有几个有master资格的节点。对于大集群可以写3个以上。
discovery.zen.ping.timeout: 40s #默认是3s，这是设置集群中自动发现其它节点时ping连接超时时间，为避免因为网络差而导致启动报错，我设成了40s。
discovery.zen.ping.multicast.enabled: false #设置是否打开多播发现节点，默认是true。
network.host: 0.0.0.0
http.port: 9200
node.master: true #节点从可作为选举为主节点
node.data: true #也用来存储数据,可作为负载器
discovery.zen.ping.unicast.hosts: ["192.168.80.32","192.168.80.33","192.168.80.30"]  #discovery.zen.ping.unicast.hosts:["节点1的 ip","节点2 的ip","节点3的ip"] 指明集群中其它可能为master的节点ip,以防es启动后发现不了集群中的其他节点。第一对引号里是node1，默认端口是9300。第二个是 node2 ，在另外一台机器上。

node.name: "es-node2"和 node.name: "es-node3" 

启动

su elsearch
cd /usr/local/elasticsearch530 目录
bin/elasticsearch -d  #后台运行

此时启动服务会发现报错：max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

[root@H32 ~]# cat /etc/sysctl.conf | grep -v "vm.max_map_count" > /tmp/system_sysctl.conf
[root@H32 ~]# echo "vm.max_map_count=262144" >> /tmp/system_sysctl.conf
[root@H32 ~]# mv /tmp/system_sysctl.conf /etc/sysctl.conf
mv：是否覆盖"/etc/sysctl.conf"？ y
[root@H32 ~]# cat /etc/sysctl.conf
# System default settings live in /usr/lib/sysctl.d/00-system.conf.
# To override those settings, enter new settings here, or in an /etc/sysctl.d/<name>.conf file
#
# For more information, see sysctl.conf(5) and sysctl.d(5).
vm.max_map_count=262144
[root@H32 ~]# sysctl -p
vm.max_map_count = 262144

　　修改后再次启动，可通过下命令查看启动后是否有进程

ps -ef |grep elasticsearch

　　ES的安装就此完成，接下来安装Head插件来监控Elasticsearch

Elasticsearch Head插件

　　5.X版本的ES跟之前的版本最大的不同之处就是多了很多环境的校验，比如jdk,max-files等等。

设置内核参数

vi /etc/sysctl.conf # 增加下面的内容

fs.file-max=65536
vm.max_map_count=262144

设置资源参数

vi /etc/security/limits.conf # 修改

elsearch soft nofile 65536
elsearch hard nofile 65536
 
sysctl -p 

修改/config/elasticsearch.yml

# 增加新的参数，这样head插件可以访问es
http.cors.enabled: true
http.cors.allow-origin: "*"

　　注意，设置参数的时候:后面要有空格！

　　在5.X版本中不支持直接安装head插件，需要启动一个服务

git clone git://github.com/mobz/elasticsearch-head.git

　　下载 elasticsearch-head 或者 git clone 到 /usr/local/elasticsearch-head

 cd elasticsearch-head

 npm install

　　

由于head插件本质上还是一个nodejs的工程，因此需要安装node，使用npm来安装依赖的包。（npm可以理解为maven）

去官网下载nodejs，https://nodejs.org/en/download/

下载下来的jar包是xz格式的，一般的linux可能不识别，还需要安装xz.

yum -y install xz

然后解压nodejs的安装包:

xz -d node*.tar.xz tar -xvf node*.tar

解压完node的安装文件后，需要配置下环境变量,编辑/etc/profile，添加

# set node environment
export NODE_HOME=/usr/local/node790
export PATH=$PATH:$NODE_HOME/bin

别忘记立即执行以下

source /etc/profile

这个时候可以测试一下node是否生效：

[root@H32 node790]# echo $NODE_HOME 
/usr/local/node790
[root@H32 node790]# node -v 
[root@H32 node790]# npm -v

安装grunt

　　grunt是一个很方便的构建工具，可以进行打包压缩、测试、执行等等的工作，5.X里的head插件就是通过grunt启动的。因此需要安装一下grunt：

　　linux：npm install grunt-cli

　　windows：npm install grunt-cli -g

　　在elasticsearch-head目录下node_modules/grunt下如果没有grunt二进制程序，需要执行

cd elasticsearch-head
npm install grunt-cli
npm install grunt --save-dev

　　安装完成后检查一下：

[root@H32 elasticsearch-head]# grunt -version
grunt-cli v1.2.0
grunt v1.0.1

启动服务

/usr/local/elasticsearch-head/node_modules/grunt/bin/gruntserver

修改head源码

由于head的代码还是2.6版本的，直接执行有很多限制，比如无法跨机器访问。因此需要用户修改两个地方：

修改服务器监听地址

目录：elasticsearch-head/Gruntfile.js

connect: { server: { options: { port: 9100, hostname: ‘*‘, base: ‘.‘, keepalive: true } } }

增加hostname属性，设置为*

修改连接地址：

目录：elasticsearch-head/_site/app.js

修改head的连接地址:

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200";

把localhost修改成你es的服务器地址，如:

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://192.168.80.32:9200";

运行head

首先启动每个服务器上的 ES。

再启动grunt

cd /usr/local/elasticsearch-head
grunt server -d

访问:target:9100

这个时候，访问 http://192.168.80.32:9100 就可以访问head插件了。

 现在可以在此页面操作ES数据了，但这只是一个开始。

如何开发自己的搜索帝国之Elasticsearch

标签：测试   href   查询   工具   策略   环境变量   处理   环境   下载地址   

原文地址：http://www.cnblogs.com/zhangs1986/p/7299307.html