码迷,mamicode.com
首页 >  
搜索关键字:flume 日志管理    ( 1788个结果
通过实例学习Fireasy开发(上篇)
Fireasy一直在发布新版本,但是怎么用,到底好不好用,估计大家都有这样的疑惑。所以,今天花点时间通过一个简单的示例一步一步来介绍fireasy的用法。 首先有必要介绍一下Fireasy的组件构成: Fireasy.Common 公共组件库,主要包含缓存管理、日志管理、序列化、动态编...
分类:其他好文   时间:2015-04-05 06:26:18    阅读次数:245
linux下tomcat的日志切割管理
对于tomcat的日志管理,部署Tomcat后,运行久了,catalina.out文件会越来越大,对系统的稳定造成了一定的影响。1可以修改conf/logging.properties日志配置文件来屏蔽掉这部分的日志信息。vim/data/ifengsite/java/tomcat/conf/logging.properties将level级别设置成WARNING就可..
分类:系统相关   时间:2015-04-03 19:38:36    阅读次数:214
MySql Study之--MySql日志管理
MySql Study之--MySql日志管理一、日志文件类型MySQL有几个不同的日志文件,可以帮助你找出mysqld内部发生的事情:日志文件日志文件信息内容错误日志记录启动、运行或停止mysqld时出现的问题。(log_err)查询日志记录建立的客户端连接和执行的语句。更新日志记录更改数据的语句..
分类:数据库   时间:2015-04-02 16:47:21    阅读次数:207
Flume数据传输事务分析[转]
本文基于ThriftSource,MemoryChannel,HdfsSink三个组件,对Flume数据传输的事务进行分析,如果使用的是其他组件,Flume事务具体的处理方式将会不同。一般情况下,用MemoryChannel就好了,我们公司用的就是这个,FileChannel速度慢,虽然提供日志级别...
分类:Web程序   时间:2015-04-01 17:21:22    阅读次数:194
Flume-ng spoolDir分布式日志收集目录监控
分布式数据收集flume-ng的spoolDir监控使用中的坑。。。。。...
分类:Web程序   时间:2015-03-31 18:07:14    阅读次数:262
使用hadoop平台进行小型网站日志分析
0.上传日志文件到linux中,通过flume将文件收集到hdfs中。 执行命令/home/cloud/flume/bin/flume-ng agent -n a4 -c conf -f /home/cloud/flume/conf/a4.conf -Dflume.root.logger=DEBUG,console 1.建立hive表 create external table bb...
分类:Web程序   时间:2015-03-28 08:51:36    阅读次数:156
一个可创建读取日志的管理类(可固定创建2M大小的日志文件)
这里,将日志管理基类命名为LogManagerBase(抽象类),具体的不同类型的日志可以通过继承完成。该基类可将日志以每个2M的方式存储起来,并可以读取当前正在使用的日志的所有内容。要实现该基类,首先要了解以下几个IO类:命名空间:System.IO相关类:Directory,DirectoryI...
分类:其他好文   时间:2015-03-21 15:23:28    阅读次数:139
flume-ng 自定义拦截器,对header中的字段进行正则匹配分离出更多header
代码如下: package com.wy.flume.interceptor; import java.util.List; import java.util.Map; import java.util.regex.Matcher; import java.util.regex.Pattern; import org.apache.commons.lang.StringUtils...
分类:Web程序   时间:2015-03-18 07:53:03    阅读次数:2294
Linux系统日志管理
2015-03-17iptables日志单独管理vim/etc/rsyslog.conf#Don‘tlogprivateauthenticationmessages!*.info;mail.none;authpriv.none;cron.none;kern.none/var/log/messages#Saveiptablesmessagesalsotoiptables.logkern.*/var/log/iptables.log
分类:系统相关   时间:2015-03-18 06:44:43    阅读次数:187
Erlang tool -- lager overload protection
log 这个事, 说大不大说小又不小. 大点的, 可以用scribe flume 这样的系统去做, 小点的, 也就打印一个调试信息而已. 在Erlang 中, log 这事情确实比较伤, error_logger 是个单点, io:format 容易导致节点崩溃. 在开源社区, lager 算是使用...
分类:其他好文   时间:2015-03-18 01:01:46    阅读次数:350
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!