码迷,mamicode.com
首页 > 其他好文 > 详细

E L K 以及 filebeat

时间:2018-04-18 22:27:22      阅读:396      评论:0      收藏:0      [点我收藏+]

标签:测试

《 Elasticsearch 》
ESC和mongdb都属于document,NOSQL非关系型数据库。
Elasticsearch 是一个基于apache lucene(性能最好,功能最全的全文搜索引擎)的搜索服务器,是一个分布式多用户的全文搜索引擎,基于JAVA开发的需要装JDK的包,安装即可。
基于restful web接口(用于客户端和服务器交互类的软件,更易于实现缓存等机制)。
它不仅仅是存储,还会索引(index)每个文档的内容使之可以被搜索。在Elasticsearch中,是面向文档的,你可以对文档(而非成行成列的数据)进行索引、搜索、排序、过滤。
集群的读取数据的每台服务器可能不同步。
特点:

  1. 分布式存储,每个字段都被索引,并且可搜索。
    2.分布式的实时分析引擎。
    3.可以扩展到上百台服务器,分布式处理(PB级,Peripheral Buffer 外围缓冲器)结构化和非结构化数据。
    JSON(document)文档型,像 [列表] {字典} 分层解决。Lucene只是一个库,用于Java的二次开发加了一些界面,通过提供的接口进行访问,客户端不用关心后台是怎么操作的。
    结构化(有规律) 无结构化(无规律无结构,如日志)
    安装:JDK: rpm -ivh jdk-8u162-linux-x64.rpm java -version 保证jdk是最新的包。
    如果不是最新的,切换,alternatives --config 软件名
    创建esc的源:/etc/yum.repo.d/elasticsearch.repo
    [elasticsearch-6.x]
    name=Elasticsearch repository for 6.x packages
    baseurl=https://artifacts.elastic.co/packages/6.x/yum
    gpgcheck=1
    gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
    enabled=1
    autorefresh=1
    type=rpm-md
    安装ESC的包: rpm -ivh elasticsearch-6.2.3.rpm
    开启:systemctl start elasticsearch
    查找进程是否开启: ps -ef |grep java (基于java的)
    l

设置监听地址:vim /etc/elasticsearch/elasticsearch.yml
cluster.name: 集群名字,统一的。(很多不允许数字开头)
node.name: Node名字,自定义,自己的。
node.attr.rack: r1 机架名 ,根据生产环境定义,实验测试可放在同一台。
path.data: /var/lib/elasticsearch 数据存放路径,习惯性的在/data/下做一个软链:
(mv /var/lib/elasticsearch /data/ ln -s /data/elasticsearch /var/lib/elasticsearch)
path.logs: /var/log/elasticsearch 日志存放路径
discovery.zen.ping.unicast.hosts: 改版以后需要填域名,必须能解析 ,中括号里的第一个主机一般都是master
在页面里 * 代表master ,做过群集的服务器状态低于%70说明数据不同步,旧的服务器认为以前的NODE节点不在了便不会同步新的服务器。

node 节点数最好是单数,防止脑裂(双数的群集在master)
discovery.zen.ping.unicast.hosts: ["yxlxixi", "yxlhaha"]
network.host: 0.0.0.0 网络主机

重启:systemctl restart elasticsearch
ss -anl |grep 9200 elasticsearch 端口 9300 :ESC群集之间通讯的 9100:图形界面端口
查看 elasticsearch的信息(版本) :curl http://localhost:9200
"lucene_version" : "7.2.1": elasticsearch的版本信息,群集之间的版本要相同,不然会导致数据不同步,为了防止版本的不同步,在配置完elasticsearch.yml后改成备份的名字,ESC不认识的文件名,就可以防止yum update后的版本不一致导致数据不同步的现象。
curl 访问ESC 的语法 :curl -X<VERB> ‘<PROTOCOL>://<HOST>:<PORT>/<PATH>?<QUERY_STRING>‘ -d ‘<BODY>‘
说明:
VERB HTTP方法: GET , POST , PUT , HEAD , DELETE
PROTOCOL http或者https协议(只有在Elasticsearch前面有https代理的时候可用
HOST Elasticsearch集群中的任何一个节点的主机名,如果是在本地的节点,那么就叫localhost
PORT Elasticsearch HTTP服务所在的端口,默认为9200
PATH API路径(例如count将返回集群中文档的数量),PATH可以包含多个组件,例如cluster/stats或者
_nodes/stats/jvm
QUERY_STRING 一些可选的查询请求参数,例如 ?pretty 参数将使请求返回更加美观易读的JSON数据 BODY 一个JSON格式的请求主体(如果请求需要的话)
查看master和node的状态 :curl -X GET localhost:9200/_cat/nodes
查看群集的状态:curl -X GET localhost:9200/_cluster/state/nodes?pretty 或
curl -X GET localhost:9200/_cat/health

Logstash架构收集日志
原理:监控nginx apache 等日志,然后将收集的日志(filter过滤)输出(output)给本机的ESC或其他服务器的logstash,也可以是redis:<分层解决 层级之间松耦合 不xianghu依赖>
多台服务器上都部署有logstash收集日志(日志收集的代理),写在多个或一个redis(解耦合的队列),后边的logstash(集中日志)从redis上读取日志数据再写到ESC(存储日志)里。因为logstash收集的日志太多太快,通过redis(慢)给后边的logstash或者ESC减轻前台Logstash的压力,前台的logstash只管把数据交给Redis其他的不管,这就是队列服务器,Redis后边的logstash或者ESC先进先出的顺序来读取数据。不产生依赖,一个坏掉不影响其他的。(这就是解耦合也就是松耦合的架构,两个程序模块有关联就叫做耦合,也叫做生产者消费模型)如果没有队列,前台的loastash得发送一个数据等后边的服务器接收到才继续下一个动作。

Logstash 安装与测试:之前配置的elasticsearch.repo即可,yum -y install logstash
测试:/usr/share/logstash/bin/logstash -e ‘input {stdin{}} output{stdout{codes=>rubydebug}}‘ --path.settings /etc/logstash
Logstash收集nginx log:

测试:/usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/test.conf --path.settings /etc/logstash &(后台)
Kibana(图形化操作界面)

filebeat:一个插件,也可以监控日志,相当于agent和logstash,filebeat讲数据传输给logstash或者redis,losstash再把数据存储到ESC上:
配置filebeat:

重启logstash . systemctl restart logstash
安装: 在另一台服务器上装 rpm -ivh filebeat-6.2.4-x86_64.rpm
配置:

Hosts: server端logstash:ip 以及filebeat端口
vim /etc/firebeat/filebeat.yml : 注释Outputs的hosts行 ,开启logstash output行的hosts: ["server端的ip:5044"]
开启: systemctl start filebeat
测试: curl http://localhost:9200/_cat/indices
浏览器测试:firebeat端ip 出现Apache的网页多刷进行测试,再次查看,curl http://localhost:9200/_cat/indices ,发现日志数量增多了。

有许多图片没上传,暂时不上传了。

E L K 以及 filebeat

标签:测试

原文地址:http://blog.51cto.com/13576471/2105103

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!