通过syslog接收远程日志 通过syslog接收远程主机的日志，需要做一些环境配置。 客户机A通过syslog将日志信息发送到服务主机B（或称日志采集服务器）。以下说明配置过程（我的实验环境是，客户机A：Solaris 10，服务主机B：redhat linux企业服务器版）： www.2cto.... ...
分类：
其他好文 时间：
2016-09-23 14:34:29
阅读次数：
343
通过syslog接收远程日志 通过syslog接收远程主机的日志，需要做一些环境配置。 客户机A通过syslog将日志信息发送到服务主机B（或称日志采集服务器）。以下说明配置过程（我的实验环境是，客户机A：Solaris 10，服务主机B：redhat linux企业服务器版）： www.2cto.... ...
分类：
其他好文 时间：
2016-09-23 13:14:02
阅读次数：
173
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力
。
一、什么是Flume?
flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为...
分类：
Web程序 时间：
2016-07-21 13:03:09
阅读次数：
436
Flume是一种高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 可以看一下模型： 每一个flume代理(agent)可以提供一项flume服务。每一个代理有三个成员：source、channel、sink 如上图所示，由source获取数据并发送给channel，channel就好比一 ...
分类：
数据库 时间：
2016-07-18 03:05:15
阅读次数：
300
在具体介绍本文内容之前，先给大家看一下Hadoop业务的整体开发流程：
从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步，从而引出我们本文的主角—Flume。本文将围绕Flume的架构、Flume的应用(日志采集)进行详细的介绍。
（一）Flume架构介绍
1、Flume的概念
flume是分布式的日志...
分类：
Web程序 时间：
2016-05-31 17:25:25
阅读次数：
324
一．Flume使用的前提：
Flume
使用 java
编写，其需要运行在 Java1.6
或更高版本之上。
二．Flume的定义：
Flume是一个分布式、可靠、高效可用的海量日志采集、聚合和传输系统，支持在系统中定制各类数据发送方，用于搜集数据；同时，flume提供对数据进行加单处理，并写到各种数据接受方（可定制）的能力。
核心一句话：将数据从数据源收集过来，再送到目的地。为...
分类：
Web程序 时间：
2016-05-30 13:02:00
阅读次数：
396
flume的特点： flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flume的数据流由事件(Event)贯穿始终。事 ...
分类：
Web程序 时间：
2016-05-15 15:24:24
阅读次数：
365
基于Flume+LOG4J+Kafka的日志采集架构方案 本文将会介绍如何使用 Flume、log4j、Kafka进行规范的日志采集。 Flume 基本概念 Flume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。Flume包含Source ...
分类：
Web程序 时间：
2016-05-09 18:27:39
阅读次数：
215
使用 Flume、log4j、Kafka进行规范的日志采集。 Flume 基本概念 Flume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。Flume包含Source、Channel、Sink三个最基本的概念： Source ..
bbs.chinaacc.com/forum-2-26/topic-5640278.html
bbs.c...
分类：
Web程序 时间：
2016-05-09 07:05:38
阅读次数：
200
本文将会介绍如何使用 Flume、log4j、Kafka进行规范的日志采集。 Flume 基本概念 Flume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。Flume包含Source、Channel、Sink三个最基本的概念： Source ...
分类：
Web程序 时间：
2016-05-08 22:22:06
阅读次数：
394
