码迷,mamicode.com
首页 >  
搜索关键字:flume hdfs sink 过程分析    ( 6791个结果
U-Boot-2014.01 for Tiny210移植手册(零) ---- 移植前的准备
启动过程分析 其实S5PV210的启动过程网上一搜一大把,这里就不详细讲了。下面我们结合U-Boot的启动过程和S5PV210启动过程结合起来对比。 根据S5PV210_iROM_ApplicationNote_Preliminary_20091126.pdf,我们可以得知,S5PV210的启动.....
分类:其他好文   时间:2014-05-19 20:31:56    阅读次数:517
hive 存储格式
hive有textFile,SequenceFile,RCFile三种文件格式。textfile为默认格式,建表时不指定默认为这个格式,导入数据时会直接把数据文件拷贝到hdfs上不进行处理。SequenceFile,RCFile格式的表不能直接从本地文件导入数据,数据要先导入到textfile格式的...
分类:其他好文   时间:2014-05-19 08:33:35    阅读次数:349
Hadoop2的FN安装(federated namespace)
尝试了简单的安装hadoop2后,我们再来尝试一下hdfs的一项新功能:FN。这项技术可以解决namenode容量不足的问题。它采用多个namenode来共享datanode的方式,每个namenode属于不同的namespace。下面是我们的安装信息Hadoop 版本:2.2.0OS 版本: Ce...
分类:其他好文   时间:2014-05-17 10:54:41    阅读次数:518
Linux 启动过程分析
本文仅简单介绍Linux的启动过程,在此基础上做简要的分析。对于Linux启动过程中内部详细的函数调用不做介绍,只是希望本文能给新手起到一个抛砖引玉的作用,以便深入研究Linux的启动过程。本文仅为个人学习总结Linux启动的基本过程,如有大神拍砖,表示欢迎。
分类:系统相关   时间:2014-05-16 07:13:45    阅读次数:426
hadoop-ha配置
HADOOP HA配置 hadoop2.x的ha配置,此文档中描述有hdfs与yarn的ha配置。 此文档的假定条件是zk已经安装并配置完成,其实也没什么安装的。 hdfs ha配置 首先,先配置core-site.xml配置文件: 在老版本中使用mr1时,还可能使用fs.default.name来进行配置   fs.defaultFS 此处配置的mycluster目前还没...
分类:其他好文   时间:2014-05-15 23:40:10    阅读次数:705
hdfs常用命令
hdfs常用命令...
分类:其他好文   时间:2014-05-15 23:08:57    阅读次数:413
HDFS HA系列实验之二:HA+JournalNode+zookeeper
1:原理图 A:NN1、NN2(或者更多个NN节点)只有一个是Active状态,通过自带ZKFailoverController组件(zookeeper客户端)和zookeeper集群协同对所有NN节点进行检测和选举来达到此目的。B:Active NN 的EditLog 写入共享的JournalNode集群中,Standby NN通过JournalNode集群获取Editlog,并在本地运行来保持...
分类:其他好文   时间:2014-05-15 14:46:42    阅读次数:414
Hadoop MapReduce链式实践--ChainReducer
版本:CDH5.0.0,HDFS:2.3.0,Mapreduce:2.3.0,Yarn:2.3.0。场景描述:求一组数据中按照不同类别的最大值,比如,如下的数据:data1:A,10 A,11 A,12 A,13 B,21 B,31 B,41 B,51data2:A,20 A,21 A,22 A,23 B,201 B,301 B,401 B,501最后输出为:A,23 B,501假如这样的逻辑的m...
分类:其他好文   时间:2014-05-15 08:15:04    阅读次数:374
HDFS HA系列实验之四:HA+Federation
本篇的配置环境是基于HDFS HA系列实验之二:HA+JournalNode+zookeeper  上进行的。1:原理图   A:实验环境之组成DNS:productserverHA1(nameservices为cluster1):product201、product202HA2(nameservices为cluster2):product211、product212DN:product203、p...
分类:其他好文   时间:2014-05-15 05:59:29    阅读次数:323
hadoop学习;大数据集在HDFS中存为单个文件;安装linux下eclipse出错解决;查看.class文件插件
一个典型的hadoop工作流会在别的地方...
分类:系统相关   时间:2014-05-15 03:47:41    阅读次数:422
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!