背景 之前做日志收集模块时，用到flume。另外也有的方案，集成kafaka来提升系统可扩展性，其中涉及到消息队列当时自己并不清楚为什么要使用消息队列。而在我自己提出的原始日志采集方案中不适用消息队列时，有几个基本问题：1. 日志文件上传过程，有个基本的生产者-消费者问题；2. 另外系统崩溃时，数据 ...
分类：
其他好文 时间：
2016-04-26 09:28:55
阅读次数：
154
1，公司现有系统有很多，存放重要接口的日志分布在不同的库，每个系统都有单独的日志采集表，日志采集模块； ？？？？ 这些日志可以统一放到一个地方，通过一个组件提供出去，对应的就是一个maven的jar组件，如果有新的系统需要开发，可以复用这一块，定义好文档，统一按照这个上报数据到统一的地方，方便分析问
分类：
微信 时间：
2016-03-19 12:49:09
阅读次数：
363
基于Flume + MongoDB，对现有的多个应用系统进行日志采集。
分类：
其他好文 时间：
2016-03-09 20:39:12
阅读次数：
314
一、flume概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。我们选用flume对内部多个系统的日..
分类：
Web程序 时间：
2016-03-07 19:31:18
阅读次数：
357
一、概述： Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请...
分类：
Web程序 时间：
2016-01-20 20:49:39
阅读次数：
345
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。目前属于apache的一个子项目。 一般来说，部署到服务...
分类：
Windows程序 时间：
2016-01-06 11:39:03
阅读次数：
8147
[root@Cagios logstash-2.1.0]# cat /usr/local/logstash-2.1.0/logstash_agent.conf input { file { type => "apache_access" path => ["/var/log/httpd...
分类：
Web程序 时间：
2015-12-08 12:56:42
阅读次数：
138
这段时间花了部分时间在处理[消息总线](https://github.com/yanghua/banyan)跟日志的对接上。这里分享一下在日志采集和日志解析中遇到的一些问题和处理方案。...
分类：
Web程序 时间：
2015-11-20 23:14:26
阅读次数：
351
flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。一、什么是Flume? flume 作为 cloudera 开发的实时....
分类：
Web程序 时间：
2015-11-16 15:26:41
阅读次数：
207
这篇是计算机类的优质预售推荐>>>>《Flume：构建高可用、可扩展的海量日志采集系统》
编辑推荐
开发人员。
内容简介
本书从Flume 的基本概念和设计原理开始讲解，分别介绍了不同种类的组件、如何配置
组件、如何运行Flume Agent 等。同时，分别讨论Source、Channel 和Sink 三种核心组件，不仅仅阐述每个组件的基本概念，而且结合实际的编程案例...
分类：
Web程序 时间：
2015-08-04 19:28:18
阅读次数：
236
