码迷,mamicode.com
首页 >  
搜索关键字:flume 日志管理    ( 1788个结果
linux下日志管理工具--logrotate
##配置 ```linux /usr/local/nginx/logs/*.log { daily dateext rotate 1 olddir /usr/local/nginx/other/logs missingok notifempty compress sharedscripts postrotate /bin/kill -USR1 $(cat /var/run/nginx.p...
分类:系统相关   时间:2015-05-29 20:29:09    阅读次数:251
[转载] 利用flume+kafka+storm+mysql构建大数据实时系统
原文:http://mp.weixin.qq.com/s?__biz=MjM5NzAyNTE0Ng==&mid=205526269&idx=1&sn=6300502dad3e41a36f9bde8e0ba2284d&key=c468684b929d2be22eb8e183b6f92c75565b81...
分类:数据库   时间:2015-05-28 21:11:11    阅读次数:769
JAVA日志管理体系(文件、数据库、邮件)
目前程序中,有很多地方 try catch,程序运行异常、出错石沉大海而不被感知,接下来要针对这个问题进行调整,原则是任何异常都可以被感知、记录继而被优化处理;严重的错误异常,必须可以在第一时间通知到开发人员。方案:log4j 升级为 log4j2针对不同业务,采用不同等级、不同载体的日志记录形式:...
分类:数据库   时间:2015-05-26 18:27:17    阅读次数:229
ABP
ASP.NET开发框架--ABP系列文章目录本系列文章目录:1、ABP总体介绍(←点击这里查看)2、ASP.NET Boilerplate入门3、ABP分层架构4、ABP模块系统5、ABP启动配置6、ABP依赖注入7、ABP Session管理8、ABP日志管理9、ABP设置管理10、ABP领域层—...
分类:其他好文   时间:2015-05-25 22:04:47    阅读次数:1481
Mongodb日志管理
#切除本身日志内容并且自动生成新的以日期生成的历史文件 方法一: mongod-v--logpath/var/log/mongodb/mongos.log 方法二: kill-SIGUSR1{pid} 方法三: useadmin db.runCommand("logRotate") #两种删除旧的日志文件,保留7天的日志文件 find/var/log/mongodb/mongos.log.*-..
分类:数据库   时间:2015-05-25 20:44:03    阅读次数:219
nginx日志切割并使用flume-ng收集日志
nginx的日志文件没有rotate功能。如果你不处理,日志文件将变得越来越大,还好我们可以写一个nginx日志切割脚本来自动切割日志文件。第一步就是重命名日志文件,不用担心重命名后nginx找不到日志文件而丢失日志。在你未重新打开原名字的日志文件前,nginx还是会向你重命名的文件写日志,linu...
分类:Web程序   时间:2015-05-25 18:38:14    阅读次数:650
基于Flume的美团日志收集系统(一)架构和设计
美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集系统基于Flume设计和搭建而成。《基于Flume的美团日志收集系统》将分两部分给读者呈现美团日志收集系统的架构设计和实战经验。第一部分架构和设计,将主要着眼于日志收集系...
分类:Web程序   时间:2015-05-25 16:33:38    阅读次数:173
基于Flume的美团日志收集系统(二)改进和优化
在《基于Flume的美团日志收集系统(一)架构和设计》中,我们详述了基于Flume的美团日志收集系统的架构设计,以及为什么做这样的设计。在本节中,我们将会讲述在实际部署和使用过程中遇到的问题,对Flume的功能改进和对系统做的优化。1 Flume的问题总结在Flume的使用过程中,遇到的主要问题如下...
分类:Web程序   时间:2015-05-25 16:29:31    阅读次数:172
Flume环境部署和配置详解及案例大全
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 一、什么是Flume? flume 作为 cloudera 开发...
分类:Web程序   时间:2015-05-25 16:15:53    阅读次数:258
Hadoop开发环境搭建(不定时更新)
参考链接hadoop家族、strom、spark、Linux、flume等jar包、安装包汇总下载(持续更新)http://www.aboutyun.com/thread-8178-1-1.htmlWin7中使用Eclipse连接虚拟机中的Ubuntu中的Hadoop2.4经验总结http://ww...
分类:其他好文   时间:2015-05-25 12:56:34    阅读次数:139
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!