本篇和大家分享的是自定义log4j的appender，用es来记录日志并且通过kibana浏览es记录；就目前互联网或者一些中大型公司通常会用到第三方组合elk，其主要用写数据到es中，然后通过可视化工具kibana来做直观数据查看和统计；本篇内容节点如下： docker快速搭建es，es head ...
分类：
移动开发 时间：
2019-05-18 18:50:54
阅读次数：
172
1.连接从Redis中获取日志文件并存储到ES中 [root@Logstash ~]# vim /usr/local/logstash/config/redis.conf input { beats { port => "5044" } redis { data_type => "list" key ...
分类：
其他好文 时间：
2019-05-16 19:14:03
阅读次数：
129
（1） 安装Logstash依赖包JDK Logstash的运行依赖于Java运行环境， Logstash 1.5以上版本不低于java 7推荐使用最新版本的Java。由于我们只是运行Java程序，而不是开发，下载JRE即可。 下载linux-64的版本。如果使用Linux下载执行如下命令下载即可。 ...
分类：
其他好文 时间：
2019-05-14 14:41:01
阅读次数：
128
Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash 是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索） kibana 也是一个开 ...
分类：
其他好文 时间：
2019-05-14 11:08:58
阅读次数：
187
1.配置Logstash [root@Logstash logstash]# vim /usr/local/logstash/config/nginx_log.conf input { beats { port => "5044" } } filter { if [type] == "nginx"{ ...
分类：
数据库 时间：
2019-05-12 17:10:27
阅读次数：
244
前言 最近公司分了个ELK相关的任务给我，在一边学习一边工作之余，总结下这些天来的学习历程和踩坑记录。 首先介绍下使用ELK的项目背景：在项目的数据库里有个表用来存储消息队列的消费日志，这些日志用于开发者日后的维护。每当客户端生产一条消息并发送到消息队列后，就会插入一条对应的记录到数据库里。当这条消 ...
分类：
其他好文 时间：
2019-05-12 17:04:48
阅读次数：
1517
几个命令就可以完成 docker run -it --rm -d -p 9200:9200 -p 5601:5601 --name esk nshou/elasticsearch-kibana 接下来安装logstash. 先在用户目录下建立目录settings,并在该目录下建立logstash.y ...
分类：
其他好文 时间：
2019-05-11 14:55:40
阅读次数：
150
一、ELK 介绍 ELK 构建在开源基础之上，让您能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。 最近查看 ELK 官方网站，发现新一代的日志采集器 Filebeat，他是 Beats 家族其中的一员，性能超越 logstash，部署简单，占用资源少，可以很 ...
分类：
其他好文 时间：
2019-05-10 16:23:53
阅读次数：
242
Kafka Connect's goal of copying data between systems has been tackled by a variety of frameworks, many of them still actively developed and maintained ...
分类：
其他好文 时间：
2019-05-02 09:39:03
阅读次数：
91
Top NSD ARCHITECTURE DAY03 案例1：ES集群安装 案例2：ES集群安装配置 案例3：练习curl命令 案例4：练习插件 案例5：插入，增加，删除查询数据 案例6：安装Kibana 1 案例1：ES集群安装 1.1 问题 本案例要求： 准备1台虚拟机 部署elasticsea ...
分类：
其他好文 时间：
2019-04-28 19:03:57
阅读次数：
255
