1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。3.agent里面包含3个核心组件：source、channel、sink。3.1 source组件是专用于收集日志的，可以处理各种类...
分类：
Web程序 时间：
2015-03-14 18:17:59
阅读次数：
186
rsyslog日志收集配置rsyslog服务器收集各服务器的日志，并汇总，再由logstash处理请查看上一篇文章http://bbotte.blog.51cto.com/6205307/1613571客户端/发送端web服务器# yum install rsyslog -y# vim /etc/r...
分类：
其他好文 时间：
2015-03-12 13:07:53
阅读次数：
273
flume作为日志收集端，其本质上也是一个生产者消费者结构，source作为消息的producer，sink作为消息的consumer，中间的channel作消息的存储为了保证消息消费的正确性，flume使用了事务的机制，主要涉及的类：1）org.apache.flume.Transaction接口类，为访问channel提供事务的功..
分类：
Web程序 时间：
2015-03-04 06:22:18
阅读次数：
282
logstash通过rsyslog对nginx的日志收集和分析http://bbotte.blog.51cto.com/6205307/1613571logstash&elasticsearch&kibana的安装和配置http://bbotte.blog.51cto.com/6205307/1614453这一篇文章里面是以nginx打补丁的方式实现rsyslog把nginx的日志同步到logstash做分..
分类：
其他好文 时间：
2015-02-26 18:44:35
阅读次数：
264
日志收集分析系统架构
一．部署架构
日志收集系统一般包括如图所示三层。Web服务器层，日志收集层，日志存储层。Web服务器层是日志的来源，一般部署web应用供用户访问，产生日志，该节点上一般需要部署日志收集程序的agent。日志收集层手机web服务器产生的日志传输给日志存储层，存储层一般使用分布式文件系统HDFS,日志可以存储在hdfs上或者hbase上。
以scribe作...
分类：
其他好文 时间：
2015-02-23 17:55:28
阅读次数：
265
写代码的人都知道日志很重要，机器不多的时候，查看日志很简单，ssh 上去 grep + awk + perl 啥的 ad hoc 的搞几把就行，但面对上百台甚至上千台机器时，如何有效的收集和分析日志就成了个很头疼的事情。日志处理必然有如下过程：从各个服务器读取日志把日志存放到集中的地方挖掘日志数据，...
分类：
其他好文 时间：
2015-02-19 00:15:05
阅读次数：
258
rsyslog日志收集配置rsyslog服务器收集各服务器的日志，并汇总，再由logstash处理请查看上一篇文章http://bbotte.blog.51cto.com/6205307/1613571客户端/发送端web服务器#yuminstallrsyslog-y
#vim/etc/rsyslog.conf
*.*@192.168.10.1:514
#vim/etc/bashrc#收集其他服务器的操..
分类：
其他好文 时间：
2015-02-14 20:09:27
阅读次数：
314
logstash日志收集分析系统Logstashprovidesapowerfulpipelineforstoring,querying,andanalyzingyourlogs.WhenusingElasticsearchasabackenddatastoreandKibanaasafrontendreportingtool,Logstashactsastheworkhorse.Itincludesanarsenalofbuilt-ininputs,filters,codecs,andout..
分类：
其他好文 时间：
2015-02-11 12:53:49
阅读次数：
381
最近学习了下flume的使用，以配合公司将日志系统独立出来的开发，官网用户手册：http://flume.apache.org/FlumeUserGuide.html#log4j-appender
1. flume架构
a. 组件
先搬上官网上的架构图
从图上可以看到flume的事件定义成了一个数据流，一个数据流组成了Agent，其实就是JVM实例，每个Agent包...
分类：
Web程序 时间：
2015-02-09 10:57:53
阅读次数：
312
断断续续的看了一周logstash的文档，总算在线上ubuntu搭建起来一个logstash环境了。现在分享一下自己的经验 #关于logstash 这玩意现在还算是火爆，依托于[elasticsearch](http://www.elasticsearch.org/)这棵大树...
分类：
系统相关 时间：
2015-01-27 11:26:17
阅读次数：
374
