以下内容都为自己浅显的理解，用作备忘的流水账，所以写的比较混乱。如理解有错误，请帮忙指正 FLUME-NG中没有之前的对文件的实时流SOURCE，只提供了spoolDir的source，这个source的功能监控指定文件夹，放入文件夹内的文件不能再做任何修改（包括修改时间和文件大小），这2个错...
分类：
Web程序 时间：
2014-12-05 15:30:59
阅读次数：
349
说明：本来研究开源日志的系统是flume，后来发现配置比较麻烦，网上搜索到fluentd也是开源的日志收集系统，配置简单多了，性能不错，所以就改研究这个东东了！官方主页，大家可以看看：fluentd.org，支持300+的plugins，应该是不错的！fluentd是通过hadoop中的webHDFS与HDFS进..
分类：
其他好文 时间：
2014-12-04 18:18:05
阅读次数：
497
rsyslog日志管理日志：一些历史事件按时间序列将其记录，方便查错以及方便核实所发生的事件。rsyslog的特点：多线程；强大的过滤功能，可实现过滤系统信息中的任意部分；自定义输出格式；适用于企业级别日志记录需求。系统对指定设施定义了八个消息级别分别是：debug（调试级）..
分类：
其他好文 时间：
2014-12-01 06:40:14
阅读次数：
463
Nodejs日志管理工具包：log4js 和winston1、log4js的使用 1）package.json中加入依赖"log4js":"~0.6.21" 2）写一个log4js的配置文件log4js_conf.json{ "appenders": [ { "type":...
分类：
Web程序 时间：
2014-11-28 14:23:31
阅读次数：
395
摘自：http://my.oschina.net/leejun2005/blog/2881361、Flume 的一些核心概念：1.1 数据流模型1.2 高可靠性1.3 可恢复性2、Flume 整体架构介绍2.1 Exec source2.2 Spooling Directory Source3、常用...
分类：
Web程序 时间：
2014-11-26 15:51:08
阅读次数：
180
为什么要开启数据库的日志
当多个程序都在使用数据库的时候，我们的数据库有时候居然还会挂掉，想找原因？发现没日志可查，各个程序自己的日志又不能找到关键原因。所以要开启数据库的日志系统。
先要控制日志大小
要开日志前提是要知道怎么控制日志的大小，这是一般日志都要面临的第一个问题，否则不知道哪天把文件系统撑爆，同样蛋碎。
如何知道MySQL有没有开日志？
执行下面的语句查看：
show...
分类：
数据库 时间：
2014-11-21 14:28:23
阅读次数：
205
1
Log4j是什么
Log4j是Apache比较优秀的开源项目。在各个平台和项目中有较为广泛的应用，是为JAVA平台开发的日志管理平台。同时，Log4j也是JAVA开发项目中使用比较普遍的日志管理框架，
经过综合评估，无论稳定性，还是功能性，都能符合本次项目开发的需求，因此，本次项目决定采用Log4j作为项目的日志开发框架。
Log4j由Apache开源项目维护。...
分类：
其他好文 时间：
2014-11-19 16:00:08
阅读次数：
196
http://blog.csdn.net/weijonathan/article/details/18301321一直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注...
分类：
Web程序 时间：
2014-11-19 10:32:28
阅读次数：
345
美团的日志收集系统负责美团的所有业务日志的收集，并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计，将主要着眼于日志收集系...
分类：
Web程序 时间：
2014-11-18 11:44:44
阅读次数：
312
2014年10月份，紧接着2014年度日志管理调研报告（Logmanagementsurvey），SANS又发布了2014年度的安全分析与智能调研报告（AnalyticsandIntelligenceSurvey2014）。正如我之前博客所述，SANS认为安全分析与日志管理逐渐分开了，当下主流的SIEM/安管平台厂商将目光更多地聚焦到..
分类：
其他好文 时间：
2014-11-17 06:59:28
阅读次数：
220
