hive有textFile,SequenceFile,RCFile三种文件格式。textfile为默认格式,建表时不指定默认为这个格式,导入数据时会直接把数据文件拷贝到hdfs上不进行处理。SequenceFile,RCFile格式的表不能直接从本地文件导入数据,数据要先导入到textfile格式的...
分类:
其他好文 时间:
2014-05-19 08:33:35
阅读次数:
349
hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流,数据取自UNIX的标准输入STDIN,并输出到STDOUT
通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率,没有设定特殊的reducer,一般默认使用IdentityReducer(把输入直接转向输出)
通过HDFS的命令getMerge(输出合并)或其他文件操作,可以获得...
分类:
其他好文 时间:
2014-05-18 15:12:21
阅读次数:
380
NameNode有这么几个配置:PropertyDescriptionSuggested
valuedfs.name.dirDirectory in NameNode’s local filesystem to store HDFS’s
metadata/home/hadoop/dfs/namedf...
分类:
其他好文 时间:
2014-05-17 18:56:09
阅读次数:
367
1. 概括适合一次写入多次查询情况,不支持并发写情况通过hadoop shell
上传的文件存放在DataNode的block中,通过linux
shell只能看见block,看不见文件(HDFS将客户端的大文件存放在很多节点的数据块中,Block本质上是一个逻辑概念,它是hdfs读写数据的基本单位...
分类:
编程语言 时间:
2014-05-17 18:38:16
阅读次数:
364
HADOOP HA配置
hadoop2.x的ha配置,此文档中描述有hdfs与yarn的ha配置。
此文档的假定条件是zk已经安装并配置完成,其实也没什么安装的。
hdfs ha配置
首先,先配置core-site.xml配置文件:
在老版本中使用mr1时,还可能使用fs.default.name来进行配置
fs.defaultFS
此处配置的mycluster目前还没...
分类:
其他好文 时间:
2014-05-15 23:40:10
阅读次数:
705
1:原理图 A:NN1、NN2(或者更多个NN节点)只有一个是Active状态,通过自带ZKFailoverController组件(zookeeper客户端)和zookeeper集群协同对所有NN节点进行检测和选举来达到此目的。B:Active NN 的EditLog 写入共享的JournalNode集群中,Standby NN通过JournalNode集群获取Editlog,并在本地运行来保持...
分类:
其他好文 时间:
2014-05-15 14:46:42
阅读次数:
414
版本:CDH5.0.0,HDFS:2.3.0,Mapreduce:2.3.0,Yarn:2.3.0。场景描述:求一组数据中按照不同类别的最大值,比如,如下的数据:data1:A,10
A,11
A,12
A,13
B,21
B,31
B,41
B,51data2:A,20
A,21
A,22
A,23
B,201
B,301
B,401
B,501最后输出为:A,23
B,501假如这样的逻辑的m...
分类:
其他好文 时间:
2014-05-15 08:15:04
阅读次数:
374
本篇的配置环境是基于HDFS HA系列实验之二:HA+JournalNode+zookeeper 上进行的。1:原理图 A:实验环境之组成DNS:productserverHA1(nameservices为cluster1):product201、product202HA2(nameservices为cluster2):product211、product212DN:product203、p...
分类:
其他好文 时间:
2014-05-15 05:59:29
阅读次数:
323