org.apache.flume.sink.AvroSink是用来通过网络来传输数据的，可以将event发送到RPC服务器（比如AvroSource），使用AvroSink和AvroSource可以组成分层结构。它继承自AbstractRpcSink
extends AbstractSinkim.....
分类：
其他好文 时间：
2014-06-29 14:29:54
阅读次数：
392
最近升级cdh版本，从4.5 升级到 5.0.0 beta-2
但是升级后，发现/etc/alternatives 路径下的软链接还是只想旧的4.5 版本，而且hadoop环境也是沿用4.5
的版本conf，导致hive不能正常使用，报错为hdfs 的版本不对。 后面使用strace工具查看，发现它...
分类：
其他好文 时间：
2014-06-07 02:44:21
阅读次数：
248
谢谢大家对我的理解和支持，我会一如既往的坚持下去，今天西蒙报一下qq号，有想认识的朋友可联系西蒙。分析阶段：主要工作是针对流程和测量数据进行分析，识别导致问题发生的原因，并进一步识别根本原因。通俗地讲，就是我们要知道自己错在什么地方。所谓过程分析，就是依据活动流程图，对流程步骤是否增值进行分析（增值...
分类：
其他好文 时间：
2014-05-30 00:37:22
阅读次数：
301
分布式数据集创建之textFile
文本文件的RDDs能够通过SparkContext的textFile方法创建，该方法接受文件的URI地址（或者机器上的文件本地路径，或者一个hdfs://,
sdn://,kfs://,其他URI).这里是一个调用样例：scala> val distFile...
分类：
其他好文 时间：
2014-05-29 18:58:27
阅读次数：
429
http://dongxicheng.org/mapreduce/hadoop-join-two-tables/http://dongxicheng.org/mapreduce/run-hadoop-job-problems/http://dongxicheng.org/mapreduce/hdfs...
分类：
其他好文 时间：
2014-05-29 12:27:09
阅读次数：
260
SinkRunner.java 开启线程调用相应的Processor(Policy) , 根据
Policy调用process的返回值来决定线程睡眠时间，每次默认延后1s，最大默认为5s。public class SinkRunner implements
LifecycleAware { pri....
分类：
其他好文 时间：
2014-05-28 02:14:36
阅读次数：
524
HDFS的设计目标检测以及快速恢复硬件问题.流式的数据访问.移动计算比移动数据的代价小.简化一致性模型.超大规模数据集异构软硬件平台之间的可移植性.HDFS的结构模型HDFS是一个主从的结构模型.一个HDFS集群是由一个NameNode和若干个DataNode组成.NameNode主节点是主服务器....
分类：
其他好文 时间：
2014-05-27 17:39:15
阅读次数：
328
在AbstractConfigurationProvider类中loadSources方法会将所有的source进行封装成SourceRunner放到了Map
sourceRunnerMap之中。相关代码如下： 1 Map selectorConfig = context.getSu...
分类：
其他好文 时间：
2014-05-27 15:57:09
阅读次数：
347
在AbstractConfigurationProvider类中loadSinks方法会调用loadSinkGroups方法将所有的sink和sinkgroup放到了Map
sinkRunnerMap之中。 SinkRunner可能对应一个sink也可能对应一个sinkgroup。因为如果配置...
分类：
其他好文 时间：
2014-05-25 22:05:04
阅读次数：
398
在成功安装Pig的基础上，本文将使用Pig对手机上网日志进行分析，具体步骤如下：
写在前面：
手机上网日志文件phone_log.txt，文件内容 及 字段说明部分截图如下
需求分析
显示每个手机号的上网流量情况。
依次完成以下步骤：
1、将Linux本地文件phone_log.txt上传到HDFS
执行命令dump C; 查看经过以上步骤处理后的...
分类：
移动开发 时间：
2014-05-25 13:00:50
阅读次数：
318
