Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始，在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声：如何从企业级开发的角度，不断动手实际操作，循序...
分类：
移动开发 时间：
2014-09-13 17:05:15
阅读次数：
333
Spark Streaming can receive streaming data from any arbitrary data source beyond the one’s for which it has in-built support (that is, beyond Flume, K...
分类：
其他好文 时间：
2014-09-12 11:26:13
阅读次数：
279
翻译自：http://flume.apache.org/FlumeUserGuide.html#data-flow-model 通过翻译学习Flume，不喜勿喷。 简介 Apache Flume是一个分布式的，高可靠，高可用的系统，主要用于高效从各种数据源的收集、聚合、移动大量的日志数据 并对收集到...
分类：
其他好文 时间：
2014-09-10 14:10:40
阅读次数：
222
一、安装环境agent:192.168.7.101hdfs:192.168.7.70(namenode)192.168.7.71(datanode)192.168.7.72(datanode)192.168.7.73(datanode)操作系统：CentOS6.3x86_64须用到的软件包:jdk-1.7.0_65-fcs.x86_64flume-ng-1.5.0flume-ng-agent-1.5.0hadoop-2.3.0+cdh5.1.0cat/etc/hosts19..
分类：
其他好文 时间：
2014-09-03 15:05:57
阅读次数：
252
Flume日志收集一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。...
分类：
其他好文 时间：
2014-08-31 17:13:21
阅读次数：
295
Flume日志收集一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。...
分类：
其他好文 时间：
2014-08-31 17:11:31
阅读次数：
353
================================================================================一、Flume简介================================================================================1、概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输..
分类：
其他好文 时间：
2014-08-30 19:11:30
阅读次数：
368
最近在使用flume进行文件读取时遇到一个问题：接收到的信息未按照预想的数据格式输出。 ????文件格式： xxx,xxx,xxx,xxx,xxx,xxx\r
xxx,xxx,xxx,xxx,xxx,xxx\r
xxx,xxx,xxx,xxx,xxx,xxx\r
xxx,xxx,xxx,...
分类：
其他好文 时间：
2014-08-27 19:04:38
阅读次数：
301
来自：http://blog.xlvector.net/2014-01/flume-spooldir-source-problem/（自己写的插件，数据序列化，格式化抛出的异常都会导致flume停止，不能继续取数据，异常可以自己处理）最近在用Flume做数据的收集。用到了里面的Spooldir的源在...
分类：
其他好文 时间：
2014-08-25 18:57:04
阅读次数：
248
