Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash 是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索） kibana 也是一个开 ...
分类：
其他好文 时间：
2019-05-14 11:08:58
阅读次数：
187
1.配置Logstash [root@Logstash logstash]# vim /usr/local/logstash/config/nginx_log.conf input { beats { port => "5044" } } filter { if [type] == "nginx"{ ...
分类：
数据库 时间：
2019-05-12 17:10:27
阅读次数：
244
前言 最近公司分了个ELK相关的任务给我，在一边学习一边工作之余，总结下这些天来的学习历程和踩坑记录。 首先介绍下使用ELK的项目背景：在项目的数据库里有个表用来存储消息队列的消费日志，这些日志用于开发者日后的维护。每当客户端生产一条消息并发送到消息队列后，就会插入一条对应的记录到数据库里。当这条消 ...
分类：
其他好文 时间：
2019-05-12 17:04:48
阅读次数：
1517
几个命令就可以完成 docker run -it --rm -d -p 9200:9200 -p 5601:5601 --name esk nshou/elasticsearch-kibana 接下来安装logstash. 先在用户目录下建立目录settings,并在该目录下建立logstash.y ...
分类：
其他好文 时间：
2019-05-11 14:55:40
阅读次数：
150
一、ELK 介绍 ELK 构建在开源基础之上，让您能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。 最近查看 ELK 官方网站，发现新一代的日志采集器 Filebeat，他是 Beats 家族其中的一员，性能超越 logstash，部署简单，占用资源少，可以很 ...
分类：
其他好文 时间：
2019-05-10 16:23:53
阅读次数：
242
Kafka Connect's goal of copying data between systems has been tackled by a variety of frameworks, many of them still actively developed and maintained ...
分类：
其他好文 时间：
2019-05-02 09:39:03
阅读次数：
91
Top NSD ARCHITECTURE DAY04 案例1：导入数据 案例2：综合练习 1 案例1：导入数据 1.1 问题 本案例要求批量导入数据： 批量导入数据并查看 1.2 步骤 实现此案例需要按照如下步骤进行。 步骤一：导入数据 使用POST方式批量导入数据，数据格式为json，url 编码 ...
分类：
其他好文 时间：
2019-04-28 19:03:42
阅读次数：
137
logstash 的配置文件添加 filter { ruby { code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)" } ruby { code => "event.set('@time ...
分类：
其他好文 时间：
2019-04-28 12:34:22
阅读次数：
848
apache_log------>logstash----->redis---->logstash----->es日志写到redis中redis安装配置略input{path=>"/var/log/access_log"type=>"acccess_log"start_postition=>"beginning"}output{redis{host=>
分类：
其他好文 时间：
2019-04-27 14:39:14
阅读次数：
148
语法格式logstash中行为事件，流程:事件---input---codec---filter---codec----outputinput{#注释stdin{}}#可以不用写filter{}output{elasticsearch{hosts=>["ip:9200"]index="test-%{+YYYY.DD.mm}"}stdout{codec=>"rubydebug"}}rsy
分类：
其他好文 时间：
2019-04-27 11:32:38
阅读次数：
141
