2014年10月份，SANS发布了2014年度的《日志管理调查报告》。在今年，对于日志分析/安全分析的报告分为了两个，一个是延续了2013年的安全分析（SecurityAnalytics）的调研报告，另一个则是重新续上了2012年的日志管理（LogManagement）的调研报告。在2013年，两个调研主题合并到..
分类：
其他好文 时间：
2014-11-16 01:57:23
阅读次数：
229
Flume的介绍就不多说了，大家可以自己搜索。但是目前网上大都是Flume 1.4版本或之前的资料，Flume 1.5感觉变化挺大的，如果你准备尝试一下，我这里给大家介绍一下最小化搭建方案，并且使用MongoSink将数据存入mongodb。完全单机运行，没有master，没有collector（说白了collector也就是一个agent，只是数据来源于多个其他agent），只有一个agent。...
分类：
数据库 时间：
2014-11-13 16:39:29
阅读次数：
464
这几天在搭建flume服务并在其框架下开发，反复调试输入命令让人不厌其烦，因此在这里记录一下自己找到的一些小技巧：
首先，把自己的应用程序做成一个service是一个很好的选择，一个service就需要支持start 和 stop，start能启动程序，stop能找到start所启动的程序的进程并且关掉它。
可以直接根据/etc/init.d/下的服务脚本来改，但我遇到了问题：因为那些系统服务...
分类：
Web程序 时间：
2014-11-05 19:49:02
阅读次数：
320
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储，Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库，查询页面的数据都从这个分布式数据库中的一个表中获
取，根据应用程序的业务不同，查询不同的HBase表。实现了下面几大功能：
1 数据采集、转换和存储。正如上面介绍...
分类：
其他好文 时间：
2014-11-05 10:55:34
阅读次数：
182
1. ../flume/fchannel/spool/data/ 目录下发生缓存文件积压 可能原因：同一时间同一客户端下向两个监控目录mv文件；或同一时间多个客户端向服务端上传文件2.清空../flume/fchannel/spool/data/ 目录下文件重启后，监控目录下的文件发生积压，没有上传...
分类：
Web程序 时间：
2014-11-03 22:08:46
阅读次数：
590
上一篇我们简单的介绍了一下RoboGuice的使用(【十二】注入框架RoboGuice使用:(Your
First Injected ContentProvider)),今天我们来看下Log日志使用。
Android应用通过会使用内置的android.util.log在Android控制台上面打印日志信息。RoboGuice也提供了另外的日志管理，你可能会想要使用。
...
分类：
其他好文 时间：
2014-10-30 22:40:01
阅读次数：
264
1. 在flume/conf下建一个example文件:将下面的配置信息写到example文件中#配置agent1表示代理名称agent1.sources=source1agent1.sinks=sink1agent1.channels=channel1#配置source1agent1.source...
分类：
Web程序 时间：
2014-10-30 15:16:08
阅读次数：
239
作为史上维护后台最强大的TurboMail邮件服务器到底有多么牛？小编从日志管理入手给您做详细介绍。 作为办公标配的企业邮箱是企业信息化管理的重要组成，TurboMail邮件系统提供的史上强大的日志查看功能让邮箱管理员的维护工作变得简单而快速，系统出现异常时可以迅速定位问题所在，马 上找到原因，从....
分类：
其他好文 时间：
2014-10-30 13:18:31
阅读次数：
203
管理日志服务RHEL系统中的内核及系统日志功能主要由rsyslogd服务提供，该服务的配置文件为"/etc/rsyslog.conf"。rsyslogd服务默认已经安装并自动运行，/etc/rsyslog.conf配置文件则可以对日志进行设置，它可以指定那些信息需要记录，以及记录在哪里。例：查看/etc/rsyslog.conf..
分类：
系统相关 时间：
2014-10-30 11:57:39
阅读次数：
260
今天继续昨天的日志学习，主要学习了鸟哥私房菜的日志管理那一块的内容，现在学习总结如下：1、日志文件内容的一般格式 （1）事件发生的日期与时间； （2）发生此事件的主机名； （3）启动此事件的服务名称或函数名称； （4）该信息的实际数据内容。例如：Mar 14 15:38:00 www a...
分类：
系统相关 时间：
2014-10-30 11:39:22
阅读次数：
345
