# 学习前言
想学习一下Flume,网上找了好多文章基本上都说的很简单,只有一半什么的,简直就是坑爹,饿顿时怒火就上来了,学个东西真不容易,然后自己耐心的把这些零零碎碎的东西整理整理,各种搭环境实验之后才弄好的,也不容易啊,希望可以帮到想学Flume的你 、、、
# Flume介绍
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制...
分类:
其他好文 时间:
2014-06-26 08:01:52
阅读次数:
449
##Flume概述[Flume](http://flume.apache.org/)是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 ...
分类:
其他好文 时间:
2014-06-20 22:18:57
阅读次数:
309
1. 背景介绍许多公司的平台每天会产生大量的日志(一般为流式数据,如,搜索引擎的pv,查询等),处理这些日志需要特定的日志系统,一般而言,这些系统需要具有以下特征:(1) 构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;(2) 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统;(...
分类:
其他好文 时间:
2014-06-20 16:18:14
阅读次数:
294
一、HAProxy简介 HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代 理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。 HAProxy运行在当前的硬件上,完全可以支持数以万计的并发...
分类:
其他好文 时间:
2014-06-20 15:54:21
阅读次数:
196
rsyslog服务端配置centos6.4x64系统系统自带rsyslog5.8版本rsyslog是一个syslogd的多线程增强版。现在Fedora和Ubuntu,rhel6默认的日志系统都是rsyslog了rsyslog负责写入日志,logrotate负责备份和删除旧日志,以及更新日志文件####################################首先部署好lam..
分类:
其他好文 时间:
2014-06-17 16:56:50
阅读次数:
365
一、日志系统1、日志系统:syslog()信息详细程序:日志级别日志子系统:facility日志记录动作:ActionLinux上的日志系统:syslogsyslog-ng:syslog-ng作为syslog的替代工具,可以完全替代syslog的服务,并且通过定义规则,实现更好的过滤功能系统启动过程的日志:kernel-->物..
分类:
系统相关 时间:
2014-06-16 18:21:51
阅读次数:
306
log4j的日志系统包含两个主要概念:Logger与Appender,前者负责触发日志记录动作,后者决定日志输出至何处。
各个Logger实例之间可能存在父子关系,所有实例都有一个共同的root Logger实例,如下文的第一行的rootCategory就是root Logger实例。
log4j示例文件如下:
log4j.rootCategory=info,stdout
# CONSO...
分类:
其他好文 时间:
2014-06-16 11:27:02
阅读次数:
194
利用C#自带组件强壮程序日志在项目正式上线后,如果出现错误,异常,崩溃等情况我们往往第一想到的事就是查看日志所以日志对于一个系统的维护是非常重要的声明正文中的代码只是一个栗子,一个非常简单的栗子,只是说明这个框架是怎么工作的具体实现可以自由发挥~~~~贯穿所有的日志系统日志系统,往往是贯穿一个程序的...
分类:
其他好文 时间:
2014-06-15 22:50:58
阅读次数:
303
Android日志系统提供了记录和查看系统调试信息的功能。日志都是从各种软件和一些系统的缓冲区中记录下来的。可以使用adb的logcat命令来查看系统日志缓冲区的内容,但是在实际操作时,会发现在CMD的DOS界面上面,使用logcat命令直接输出的中文内容是乱码。如下图:而这个问题只出现在使用log...
分类:
移动开发 时间:
2014-06-15 17:22:02
阅读次数:
1256
一、SASLSASL全称System Architecture Support
Libraries,提供如下几个服务:alarm_handler overload rb release_handler
systoolsSASL带有error_logger的事件处理句柄用于格式化SASL错误和cras...
分类:
其他好文 时间:
2014-06-13 16:55:19
阅读次数:
283