最近搞了一个logstash kafka elasticsearch kibana 整合部署的日志收集系统。部署参考lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02 上线过程中有一些环节，觉得还是值的大家注意的比如：1，应用运维和研发人员...
分类：
其他好文 时间：
2015-06-19 22:58:06
阅读次数：
224
概述 Apache的flume是一个分布式的，可靠的，和可用的系统。能有效地收集，汇总和移动大量的从许多不同的来源，一个集中式数据存储日志数据。Apache的flume的使用不仅限于日志数据聚集。由于数据来源是可定制的，flume可以用来大量事件（每一行数据被当做一个event）数据包括但不限于传输...
分类：
Web程序 时间：
2015-06-17 23:14:13
阅读次数：
377
上一篇说了利用ExecSource从本地日志文件异步的收集日志，这篇说说采用RPC方式同步收集日志的方式。笔者对Thrift比较熟悉，所以用ThriftSource来介绍RPC的日志收集方式。
整体的结构图如下：
1. ThriftSource包含了一个Thrift Server，以及一个Thrift Service服务的实现。这里的Thrift Service是由ThriftSourcePr...
分类：
Web程序 时间：
2015-06-17 21:52:31
阅读次数：
3867
1 redis source,memory channel,json intercepter and file_roll sink配置例子
agent.sources = redis redis1
agent.channels = memory
agent.sinks = fileSink
agent.sources.redis.type = com.flumeng.plugins...
分类：
Web程序 时间：
2015-06-17 13:31:56
阅读次数：
219
依旧和大家一起看一下官网的内容：
http://flume.apache.org/
·增加了apache kafka的sink和source两大组件
·增加了一个新的channel——kafka channel
·增加了hive的sink组件，需要hive streaming的支持
·端到端的认证
·简单的正则搜索和替换的拦截器
开始体验吧！...
分类：
Web程序 时间：
2015-06-16 19:18:23
阅读次数：
190
Flume NG有4个主要的组件：
Event表示在Flume各个Agent之间传递的数据流
Source表示从外部源接收Event数据流，然后传递给Channel
Channel表示对从Source传递的Event数据流的临时存储
Sink表示从Channel中接收存储的Event数据流，并传递给下游的Source或者终点仓库
这篇看一下Event接口表示的数据流。Source, ...
分类：
Web程序 时间：
2015-06-16 16:52:55
阅读次数：
178
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。
2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。
3.agent里面包含3个核心组件：source、channel、sink。
3.1 source组件是专用于收集日志的，可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、jms、spooling d...
分类：
Web程序 时间：
2015-06-16 14:45:05
阅读次数：
188
具体实现思路：
1、建立日志管理表，包含日志级别，日志文件大小，日志文件名，日志包路径等。
2、根据表建立日志管理实体，创建hibernate相关文件。
3、编写工具类，工具类中实现：根据日志管理表，创建log4j.properties配置文件。
4、前台页面实现修改日志管理表的功能，能在页面修改日志级别，日志文件大小等，同时调用工具类更新log4j配置文件。...
分类：
其他好文 时间：
2015-06-12 13:31:09
阅读次数：
119
引言 log4net库是Apache log4j框架在Micorsoft.NET平台的实现，是一个帮组程序员将日志信息输出到各种目标（控制台、文件、数据库等）的工具。（百度百科） 实际项目中使用log4net极大的方便程序猿记录系统运行过程中的日志信息，特别是对bs系统说是一个比较实用的工具。本.....
分类：
Web程序 时间：
2015-06-11 12:29:58
阅读次数：
130
1. Flume：日志收集软件，里面的重要概念是agent，包括 source -> channel -> slink，sourc,slink 可以为hdfs,jdbc ... 一个简单的场景是用Flume监测一个文件夹fdir的数据变化，这时fdir就是source，并将变化传送到hdfs_pat...
分类：
其他好文 时间：
2015-06-10 15:27:14
阅读次数：
141
