1、log4j概述log4j是Apache的一个开源项目，主要是用来做Java开发中的日志管理工作。主要是由三个重要组件构成的。可管理日志的优先级、输出目的地以及输出格式等。它的配置文件主要有XML和properties两种，当然，也可以在程序里配置，但实际开发中一般使用properties文件。l...
分类：
编程语言 时间：
2014-08-29 13:00:47
阅读次数：
352
最近在使用flume进行文件读取时遇到一个问题：接收到的信息未按照预想的数据格式输出。 ????文件格式： xxx,xxx,xxx,xxx,xxx,xxx\r
xxx,xxx,xxx,xxx,xxx,xxx\r
xxx,xxx,xxx,xxx,xxx,xxx\r
xxx,xxx,xxx,...
分类：
其他好文 时间：
2014-08-27 19:04:38
阅读次数：
301
来自：http://blog.xlvector.net/2014-01/flume-spooldir-source-problem/（自己写的插件，数据序列化，格式化抛出的异常都会导致flume停止，不能继续取数据，异常可以自己处理）最近在用Flume做数据的收集。用到了里面的Spooldir的源在...
分类：
其他好文 时间：
2014-08-25 18:57:04
阅读次数：
248
flume-ng 中 selector的使用
在最近的项目中，需要用到flume。使用的是非常常见的结构：netcat source开启监听端口，接收发送来的报文消息，通过memory channel与sink（重写的roll file sink）写到本地磁盘。特别的是，这里需要根据报文的类型来发往不同的sink(暂且命名为sink1与sink2)。根据该需求，考虑有两种解决方案。...
分类：
其他好文 时间：
2014-08-21 17:08:14
阅读次数：
1607
在整个WEB系统中，为了统一的使用日志管理，需要在系统启动的时候就加载Log4j的配置文件，这样才能保证以后使用log4j的格式是一致的，便于跟踪和解决问题。 那么，如何在系统启动的时候加载log4j的配置文件呢？下...
分类：
编程语言 时间：
2014-08-21 11:45:24
阅读次数：
294
日志：按时间序列将发生的时间予以记录。记录内容：事件发生的时间，事件内容。Linux系统的日志系统：1、syslogd：用于CentOS5上，记录系统进程相关的日志2、klogd:内核事件相关的日志rsyslog：用于CentOS6上，支持的新特性：1、支持多线程2、支持基于TCP，SSL,TLS,RELP协议将..
分类：
系统相关 时间：
2014-08-21 08:29:44
阅读次数：
460
目录： 一、Flume、Kafka、Storm是什么,如何安装? 二、Flume、Kafka、Storm如何结合使用？ 1) 原理是什么？ 2) Flume和Kafka的整合 3) Kafka和Storm的整合 4) Flume、Kafka、Storm的整合 一、Flu...
分类：
其他好文 时间：
2014-08-19 20:39:55
阅读次数：
750
在java开发中日志的管理有很多种。我一般会使用过滤器，或者是Spring的拦截器进行日志的处理。如果是用过滤器比较简单，只要对所有的.do提交进行拦截，然后获取action的提交路径就可以获取对每个方法的调用。然后进行日志记录。使用过滤器的好处是可以自己选择性的对某一些方法进行过滤，记录日志。但是实现起来有点麻烦。
另外一种就是使用Spring的AOP了。这种方式实现起来非常简单，只要配置...
分类：
编程语言 时间：
2014-08-18 12:36:44
阅读次数：
293
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。
这里我主要讲述我测试flume failover（容错）和load balance（负载均衡）的几个场景以及注意的点。...
分类：
其他好文 时间：
2014-08-14 16:48:08
阅读次数：
578
1.flume 2.storm 3.hadoop 4.crawler 5.nutch 6.opentsd 7.tigase 8.flume +shell 收集日志,方便在线以及离线分析 9.redis 做用户行为分析的利器 10.maven 11.git 12.ruby 13.python 14.p...
分类：
其他好文 时间：
2014-08-13 14:29:36
阅读次数：
302
