Flume(NG)架构设计要点及配置实践 Flume(NG)架构设计要点及配置实践 Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在 ...
分类：
Web程序 时间：
2016-11-01 13:48:36
阅读次数：
278
在 http://flume.apache.org 上下载flume-1.6.0版本，将源码导入到Idea开发工具后如下图所示： 一、主要模块说明 flume-ng-channels 里面包含了filechannel，jdbcchannel，kafkachannel,memorychannel通道的 ...
分类：
Web程序 时间：
2016-10-19 01:25:56
阅读次数：
346
个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本 ...
分类：
Web程序 时间：
2016-10-10 19:35:03
阅读次数：
235
下载 可以apache官网下载flume的安装包 下载时注意，flume具有两个版本，0.9.x和1.x,两个版本并不兼容，我们学习的是最新的1.x版本，也叫flume-ng版本。 安装 解压到指定目录即可 下载 可以apache官网下载flume的安装包 下载时注意，flume具有两个版本，0.9 ...
分类：
Web程序 时间：
2016-08-12 23:57:24
阅读次数：
258
大数据我们全知道hadoop，但并不全都是hadoop。我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用storm，那么storm和什么技术搭配，才能做一个适合自己的项目。 1.一个好的项目架构应该具备什么特点？ 2.本项目架 ...
分类：
Web程序 时间：
2016-07-19 18:25:07
阅读次数：
215
flume 1 .背景 flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过 ...
分类：
Web程序 时间：
2016-07-13 01:00:08
阅读次数：
228
1 .背景 flume是由鼎鼎大名的cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程 ...
分类：
Web程序 时间：
2016-07-10 21:27:04
阅读次数：
211
一个稳定可靠的系统离不开监控，我们不仅监控服务是否存活，还要监控系统的运行状况。运行状况主要是对这些组件的核心metrics采集、抓取、分析和报警。 一、监控的数据 监控的日志数据一般包括： v APP、PC、Web 等系统运行Log：采用Flume-NG搜集 v 用户日志 : 采用Flume-NG ...
分类：
其他好文 时间：
2016-06-26 21:05:08
阅读次数：
224
tar -zxvf apache-flume-1.5.0-bin.tar.gz -C 路径
bin 目录下只有flume-ng
conf 目录下有flume-conf.properties.template flume-env.sh.template log4j.properties
重命名 mv flume-env.sh.template flume-env.sh/etc/profile...
分类：
Web程序 时间：
2016-05-06 15:23:19
阅读次数：
202
#!/bin/bash # author： xirong # date : 2015-02-06 ##### 搭建 flume 集群的脚本 # 注意： # 1. 需要 jdk7 环境，如果没有 Java 环境，请配置 # 2. 有 /home/work 目录，否则无法安装 # #### # 压缩文件
分类：
Web程序 时间：
2016-02-04 00:20:02
阅读次数：
182
