架构图 ELK 架构图:其中es 是集群,logstash 是单节点(猜想除非使用nginx对log4j的网络输出分发),kibana是单机(用不着做成集群)。 1.拓扑图 2.logstash 收集日志示意图。 3.带有redis的流程图。 ELK部署 1.三种组件下载地址:https://www ...
分类:
其他好文 时间:
2016-05-17 11:29:18
阅读次数:
461
最近在搭建日志收集平台,将linux的部分日志收集到elasticsearch上通过kibana进行搜索展现,基本上是标准的ELK架构,但是agent端复用了已有的flume。在功能测试的时候,是将本地messages日志备份出来对备份的日志进行了切割测试。经过一周测试终于完成了,当时的内心是: 日 ...
分类:
其他好文 时间:
2016-05-13 21:54:37
阅读次数:
229
有时候我们需要对一些服务器日志进行分析,并对其中错误的日志进行报警,在这里我们采用logstash来收集这些日志,和采用自己开发的邮件发送系统来发送错误日志数据。
例如我们有几个文件需要监控(BI日志)
我们可以通过配置logstash来收集这些文件日志
input{
file{
path=> "/diskb/bidir/smartbi...
分类:
其他好文 时间:
2016-05-07 07:14:34
阅读次数:
638
日志收集之kafka http://www.jianshu.com/p/f78b773ddde5 一、介绍 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间复杂度的访问性能 高吞吐率。即使在非 ...
分类:
其他好文 时间:
2016-04-30 01:04:45
阅读次数:
387
一、什么是Flume?
flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发行版...
分类:
Web程序 时间:
2016-04-29 17:51:23
阅读次数:
192
一、什么是Flume?
flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来,尤其是在 Flume OG 的最后一个发行版...
分类:
Web程序 时间:
2016-04-26 20:08:10
阅读次数:
223
背景 之前做日志收集模块时,用到flume。另外也有的方案,集成kafaka来提升系统可扩展性,其中涉及到消息队列当时自己并不清楚为什么要使用消息队列。而在我自己提出的原始日志采集方案中不适用消息队列时,有几个基本问题:1. 日志文件上传过程,有个基本的生产者-消费者问题;2. 另外系统崩溃时,数据 ...
分类:
其他好文 时间:
2016-04-26 09:28:55
阅读次数:
154
一、什么是Flume? flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG(original generation),属于 cloudera。但随着 FLume 功能的扩展,Flume OG 代码工程臃肿、 ...
分类:
Web程序 时间:
2016-04-26 00:28:52
阅读次数:
307
目前java应用日志收集都是采用日志框架(slf4j、apache commons logging)+日志系统(log4j、log4j2、LogBack、JUL等)的方式。而针对在分布式环境需要实时分析统计的日志,一般采用apache flume、facebook scribe等分布式日志收集系统。...
分类:
编程语言 时间:
2016-04-22 19:49:21
阅读次数:
409
一、什么是Flume?Flume作为cloudera开发的实时日志收集系统,受到了业界的认可与广泛应用。Flume初始的发行版本目前被统称为FlumeOG(originalgeneration),属于cloudera。但随着FLume功能的扩展,FlumeOG代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来,尤..
分类:
Web程序 时间:
2016-04-22 01:23:48
阅读次数:
320