flume作为日志收集端，其本质上也是一个生产者消费者结构，source作为消息的producer，sink作为消息的consumer，中间的channel作消息的存储为了保证消息消费的正确性，flume使用了事务的机制，主要涉及的类：1）org.apache.flume.Transaction接口类，为访问channel提供事务的功..
分类：
Web程序 时间：
2015-03-04 06:22:18
阅读次数：
282
#!/usr/local/bin/ruby?-w
#
#
#
def?call_each
???animals?=?%w{ant?bee?cat?dog?elk}
???for?animal?in?animals
?????yield?animal
???end
end
call_each?{|animal_block|?puts?...
分类：
其他好文 时间：
2015-02-27 15:21:36
阅读次数：
162
logstash通过rsyslog对nginx的日志收集和分析http://bbotte.blog.51cto.com/6205307/1613571logstash&elasticsearch&kibana的安装和配置http://bbotte.blog.51cto.com/6205307/1614453这一篇文章里面是以nginx打补丁的方式实现rsyslog把nginx的日志同步到logstash做分..
分类：
其他好文 时间：
2015-02-26 18:44:35
阅读次数：
264
日志收集分析系统架构
一．部署架构
日志收集系统一般包括如图所示三层。Web服务器层，日志收集层，日志存储层。Web服务器层是日志的来源，一般部署web应用供用户访问，产生日志，该节点上一般需要部署日志收集程序的agent。日志收集层手机web服务器产生的日志传输给日志存储层，存储层一般使用分布式文件系统HDFS,日志可以存储在hdfs上或者hbase上。
以scribe作...
分类：
其他好文 时间：
2015-02-23 17:55:28
阅读次数：
265
写代码的人都知道日志很重要，机器不多的时候，查看日志很简单，ssh 上去 grep + awk + perl 啥的 ad hoc 的搞几把就行，但面对上百台甚至上千台机器时，如何有效的收集和分析日志就成了个很头疼的事情。日志处理必然有如下过程：从各个服务器读取日志把日志存放到集中的地方挖掘日志数据，...
分类：
其他好文 时间：
2015-02-19 00:15:05
阅读次数：
258
rsyslog日志收集配置rsyslog服务器收集各服务器的日志，并汇总，再由logstash处理请查看上一篇文章http://bbotte.blog.51cto.com/6205307/1613571客户端/发送端web服务器#yuminstallrsyslog-y
#vim/etc/rsyslog.conf
*.*@192.168.10.1:514
#vim/etc/bashrc#收集其他服务器的操..
分类：
其他好文 时间：
2015-02-14 20:09:27
阅读次数：
314
logstash + elasticsearch + Kibana+Redis+Syslog-ng ElasticSearch是一个基于Lucene构建的开源，分布式，RESTful搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。支持通过HTTP使...
分类：
其他好文 时间：
2015-02-13 08:07:25
阅读次数：
2613
logstash日志收集分析系统Logstashprovidesapowerfulpipelineforstoring,querying,andanalyzingyourlogs.WhenusingElasticsearchasabackenddatastoreandKibanaasafrontendreportingtool,Logstashactsastheworkhorse.Itincludesanarsenalofbuilt-ininputs,filters,codecs,andout..
分类：
其他好文 时间：
2015-02-11 12:53:49
阅读次数：
381
最近学习了下flume的使用，以配合公司将日志系统独立出来的开发，官网用户手册：http://flume.apache.org/FlumeUserGuide.html#log4j-appender
1. flume架构
a. 组件
先搬上官网上的架构图
从图上可以看到flume的事件定义成了一个数据流，一个数据流组成了Agent，其实就是JVM实例，每个Agent包...
分类：
Web程序 时间：
2015-02-09 10:57:53
阅读次数：
312
断断续续的看了一周logstash的文档，总算在线上ubuntu搭建起来一个logstash环境了。现在分享一下自己的经验 #关于logstash 这玩意现在还算是火爆，依托于[elasticsearch](http://www.elasticsearch.org/)这棵大树...
分类：
系统相关 时间：
2015-01-27 11:26:17
阅读次数：
374
