Hadoop有两个大版本0.20.x,1.x通常为hadoop
1版本，运行环境依赖JobTracker和TaskTracker，运行资源通过作业表示模型MapTask和ReduceTask来组成；运行资源通过槽位Slot来表示。0.23.x,2.x称之为hadoop
2版本，在开发模型上类似1，都...
分类：
其他好文 时间：
2014-05-18 19:24:17
阅读次数：
291
hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流，数据取自UNIX的标准输入STDIN,并输出到STDOUT
通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率，没有设定特殊的reducer，一般默认使用IdentityReducer（把输入直接转向输出）
通过HDFS的命令getMerge（输出合并）或其他文件操作，可以获得...
分类：
其他好文 时间：
2014-05-18 15:12:21
阅读次数：
380
本篇介绍为了保证Hadoop集群平稳地运行，需要深入掌握的知识，以及一些管理监控的手段，日常维护的工作。...
分类：
其他好文 时间：
2014-05-18 05:32:10
阅读次数：
546
概览
这个入门教程描述了native(本地？原生？)hadoop库，包含了一小部分关于native hadoop共享库的讨论。
This guide describes the native hadoop library and includes a small discussion about native shared libraries.
注意: 根据你的环境，词组 "native l...
分类：
其他好文 时间：
2014-05-18 03:21:01
阅读次数：
458
PrerequisiteHadoop 2.2 has been installed (and
the below installation steps should be applied on each of Hadoop node)Step 1.
Install R (by yum)[hadoop...
分类：
系统相关 时间：
2014-05-17 21:51:24
阅读次数：
671
单一职责原则：就一个类而言，应该仅有一个引起它变化的原因。如果一个类承担的职责过多，就等于把这些职责耦合在一起，一个职责的变化可能会削弱或者抑制这个类完成其他职责的能力，就等于把这些职责耦合在一起，一个职责的变化可能会削弱或者抑制这个类完成其他职责的能力。如果你能够想到多于一个的动机去改变一个类，那...
分类：
其他好文 时间：
2014-05-17 21:29:31
阅读次数：
279
NameNode有这么几个配置：PropertyDescriptionSuggested
valuedfs.name.dirDirectory in NameNode’s local filesystem to store HDFS’s
metadata/home/hadoop/dfs/namedf...
分类：
其他好文 时间：
2014-05-17 18:56:09
阅读次数：
367
1. 概括适合一次写入多次查询情况，不支持并发写情况通过hadoop shell
上传的文件存放在DataNode的block中，通过linux
shell只能看见block，看不见文件（HDFS将客户端的大文件存放在很多节点的数据块中，Block本质上是一个逻辑概念，它是hdfs读写数据的基本单位...
分类：
编程语言 时间：
2014-05-17 18:38:16
阅读次数：
364
很多时候，在正确的做一件事之前，我们总会尝试一些笨办法或者白费一些力气；很多时候，即使在正确的做一件事，但没有收到立竿见影的效果；之后，我们的内心便容易动摇，怀疑，甚至想要放弃。这就是心魔作祟。它是一个人成长道路上的最大障碍。Less
than better,少比没有好。记住这句话。至少是前进了，至...
分类：
其他好文 时间：
2014-05-17 18:20:56
阅读次数：
187
