就是把日志切割成小日志,把旧的删除,新的进入...
分类:
其他好文 时间:
2014-12-15 15:29:49
阅读次数:
132
http://blog.csdn.net/zxcvg/article/details/18600335http://www.aboutyun.com/thread-8317-1-1.htmlhttp://blog.csdn.net/lskyne/article/details/37564449美团数...
分类:
Web程序 时间:
2014-12-13 12:09:38
阅读次数:
207
采集层 主要可以使用Flume, Kafka两种技术。 Flume:Flume 是管道流方式,提供了很多的默认实现,让用户通过参数部署,及扩展API. Kafka:Kafka是一个可持久化的分布式的消息队列。 Kafka 是一个非常通用的系统。...
分类:
Web程序 时间:
2014-12-12 13:27:34
阅读次数:
209
在使用flume中发现由于网络、HDFS等其它原因,使得经过Flume收集到HDFS上得日志有一些异常,表现为:1、有未关闭的文件:以tmp(默认)结尾的文件。加入存到HDFS上得文件应该是gz压缩文件,以tmp为结尾的文件就无法使用;2、有大小为0的文件,比如gz压缩文件大小为0,我们单独拿下这个...
分类:
Web程序 时间:
2014-12-11 13:46:24
阅读次数:
299
日志类型:一、错误日志1.记录服务器启动和关闭过程中的信息2.服务器运行过程中的错误信息3.事件调度器运行一个事件时产生的信息4.在从服务器上启动从服务器过称时产生的信息查看错误日志的存放路径:showvariableslike‘%err%‘;查看警告信息showvariableslike‘log%‘;如果log_wa..
分类:
数据库 时间:
2014-12-11 01:40:01
阅读次数:
252
出自:http://my.oschina.net/jinp/blog/350293一些常用命令:storm相关:storm nimbus >/dev/null 2>&1 &storm supervisor >/dev/null 2>&1 &storm ui >/dev/null 2>&1 &关闭st...
分类:
Web程序 时间:
2014-12-08 00:45:15
阅读次数:
346
还有慢慢摸索,NG的MYSQL配置,我始终没搞好。RSYSLOG则比较容易。另外,也可以每个RSYSLOG直接入库,不需要经过LOG SERVER。。如果有一个大内网的话。。。配合LOGANALYZER可进行简单的自定义日志管理 。
分类:
其他好文 时间:
2014-12-05 17:05:24
阅读次数:
374