前言开源实时日志分析ELK平台(ElasticSearch, Logstash, Kibana组成)，能很方便的帮我们收集日志，进行集中化的管理，并且能很方便的进行日志的统计和检索，下面基于ELK的最新版本5.1进行一次整合测试。 ElasticSearch1.概述：ElasticSearch是一个 ...
分类：
其他好文 时间：
2017-06-19 22:47:37
阅读次数：
1392
在后续我们会说如何收集kubernetes中的pod日志，在收集日志的时候，需要在每个k8snode节点上运行一个收集日志的进程
，如fluentd。我们知道在通常情况下，kubernetes基于它内部的调度算法来自动分配pod运行在哪个节点上，没有办法保证在每个node上运行一个fluentd
pod。这个时..
分类：
Web程序 时间：
2017-06-10 15:30:40
阅读次数：
214
Logstash日志收集实践 先了解以下几个基本概念: logstash收集日志基本流程: input-->codec-->filter-->codec-->output 1.input:从哪里收集日志。 2.filter:发出去前进行过滤 3.output:输出至Elasticsearch或Red ...
分类：
其他好文 时间：
2017-05-02 13:55:30
阅读次数：
142
介绍：ELK套件（ELKstack）是指ElasticSearch、Logstash和Kibana三件套。这三个软件可以组成一套日志分析和监控工具。Logstash：负责在客户端收集日志信息ElasticSearch（es）：负责将logstash收集的信息整理存储并建立索引es会建立索引并且把日志信息存放在索引中es多节点：可..
分类：
其他好文 时间：
2017-04-28 23:43:30
阅读次数：
321
既然logstash在收集日志的时候可以分析到clientip来自于那个国家城市及其坐标，那么肯定可以通过这些信息绘制在地图上直观的表现出来。awstats是可以做到的，但是nginx的日志格式及内容一旦修改就无法分析了。首先有两样必须先安装好：#/opt/logstash/bin/logstash-plugininsta..
分类：
其他好文 时间：
2017-04-12 18:54:50
阅读次数：
513
最近在搞ELK日志平台，部署filebeat收集日志时（输出到redis），出现了经典的【连接被目标机器积极拒绝】异常， 1）环境配置： 开发机，开发服务机(开发机上的virtualbox虚拟机，启动了ELK服务)、测试机、测试服务机（ELK) 2）本机（开发机）使用可输出日志到开发服务机 + 测试 ...
分类：
其他好文 时间：
2017-04-07 18:13:08
阅读次数：
1289
五、Logstash日志收集实践 在学习Logstash之前，我们需要先了解以下几个基本概念: logstash收集日志基本流程: input-->codec-->filter-->codec-->output 1.input:从哪里收集日志。 2.filter:发出去前进行过滤 3.output: ...
分类：
其他好文 时间：
2017-04-07 09:55:11
阅读次数：
683
在分布式系统中，各个机器都有程序运行的本地日志，有时为了分析需求，不得不这些分散的日志汇总需求，相信很多人会选择 Rsync，Scp 之类， 但它们的实时性不强，而且也会带来名字冲突的问题。扩展性差强人意，一点也不优雅。 现实中，我们就碰到了这样的需求：实时汇总线上多台服务器的 Nginx 日志。F ...
分类：
Web程序 时间：
2017-03-06 13:40:37
阅读次数：
1045
环境说明架构说明及架构图filebeat部署在客户端用于收集日志并把收集到的日志发送到logstash.logstash把收集到的日志处理之后交给elasticsearch.kibana从elasticsearch中提取数据并进行展示.之所以使用filebeat进行日志收集是因为filebeat不会像logstash使用大量的资源,影响业..
分类：
其他好文 时间：
2017-03-03 14:06:59
阅读次数：
540
第一次听到ELK，是新浪的@ARGV 介绍内部使用ELK的情况和场景，当时触动很大，原来有那么方便的方式来收集日志和展现，有了这样的工具，你干完坏事，删除日志，就已经没啥作用了。 很多企业都表示出他们很关心安全，不过他们压根就没看过和关注过自己服务器的日志，这是有点讽刺的。先把日志管理好，然后我们再 ...
分类：
其他好文 时间：
2017-01-09 12:39:20
阅读次数：
236
