使用Docker一段时间之后，准备在公司内部使用Docker +
Hadoop(HDFS)组件内部一个私有云，统一管理公司和产品/项目组内部的代码、文档。我选择先从文档管理开始，在底层架子搭建好之后，需要给内部人员提供一个好的“门面”，在没有这个门面之前，我们大量使用SSH+Command方式操作，...
分类：
其他好文 时间：
2014-05-24 03:44:10
阅读次数：
1071
简介
此文档描述了一个超级用户如何在安全的方式下以另一用户的名义提交作业或访问hdfs。
Use Case
下一部分描述的的代码示例对此用户用例是可用的。
一个用户名为'super'的超级用户想要以另一用户joe的名义提交作业或访问hdfs。超级用户有kerberos证书但是用户joe并没有。任务要求以用户joe的角色运行并且namenode上的文件访问也需要由joe完成。需要用户...
分类：
其他好文 时间：
2014-05-22 10:40:41
阅读次数：
255
版本：CDH5.0.0 （hdfs:2.3，mapreduce：2.3，yarn：2.3）hadoop多文件格式输入，一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。比如现在有如下的需求：现有两份数据：phone：123,good number
124,common number
125,bad numberuser：zhangsan,123
lisi,124
w...
分类：
其他好文 时间：
2014-05-22 06:23:52
阅读次数：
391
hive有textFile,SequenceFile,RCFile三种文件格式。textfile为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。SequenceFile,RCFile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的...
分类：
其他好文 时间：
2014-05-19 08:33:35
阅读次数：
349
目的
使用 CLI MiniCluster, 用户可以简单地只用一个命令就启动或关闭一个单一节点的Hadoop集群，不需要设置任何环境变量或管理配置文件。 CLI MiniCluster 同时启动一个 YARN/MapReduce 和 HDFS 集群。
这对那些想要快速体验一个真实的Hadoop集群或是测试依赖明显的Hadoop函数的非Java程序 的用户很有用。
Hadoop Ta...
分类：
其他好文 时间：
2014-05-18 18:41:39
阅读次数：
319
hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流，数据取自UNIX的标准输入STDIN,并输出到STDOUT
通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率，没有设定特殊的reducer，一般默认使用IdentityReducer（把输入直接转向输出）
通过HDFS的命令getMerge（输出合并）或其他文件操作，可以获得...
分类：
其他好文 时间：
2014-05-18 15:12:21
阅读次数：
380
NameNode有这么几个配置：PropertyDescriptionSuggested
valuedfs.name.dirDirectory in NameNode’s local filesystem to store HDFS’s
metadata/home/hadoop/dfs/namedf...
分类：
其他好文 时间：
2014-05-17 18:56:09
阅读次数：
367
1. 概括适合一次写入多次查询情况，不支持并发写情况通过hadoop shell
上传的文件存放在DataNode的block中，通过linux
shell只能看见block，看不见文件（HDFS将客户端的大文件存放在很多节点的数据块中，Block本质上是一个逻辑概念，它是hdfs读写数据的基本单位...
分类：
编程语言 时间：
2014-05-17 18:38:16
阅读次数：
364
