此篇是在零基础学习hadoop到上手工作线路指导（初级篇）的基础，一个继续总结。 五一假期：在写点内容，也算是总结。上面我们会了基本的编程，我们需要对hadoop有一个更深的理解： hadoop分为hadoop1.X、hadoop2.X，并且还有hadoop生态系统。这里只能慢慢介绍了。一口也吃不成...
分类：
其他好文 时间：
2014-08-03 12:44:25
阅读次数：
289
Hadoop与Hadoop生态系统的区别Hadoop：是一个适合大数据分布式存储和分布式计算的平台，在Hadoop1.x中对应于HDFS和MapReduce；Hadoop生态系统：是一个很庞大的概念，Hadoop是其中最重要最基础的一个部分；生态系统中的每个子系统只负责解决某一个特定的问题域（甚至可...
分类：
其他好文 时间：
2014-08-02 15:27:03
阅读次数：
215
Hadoop1.x和Hadoop2.0构成图对比Hadoop1.x构成： HDFS、MapReduce(资源管理和任务调度)；运行时环境为JobTracker和TaskTracker；Hadoop2.0构成：HDFS、MapReduce/其他计算框架、YARN； 运行时环境为YARN 1、HDFS....
分类：
其他好文 时间：
2014-08-02 15:24:53
阅读次数：
403
（1）我的电脑环境
（2）jdk1.6的安装
由于Ubuntu12.04自带了openjdk6，所以，在终端输入java -version后会现实如下提示：
表示jdk已经安装完成了。接下来是配置环境变量。
openjdk6的安装目录是在/usr/lib/jvm下
（3）设置环境变量
#set Java Environment
export JAVA_HOM...
分类：
其他好文 时间：
2014-07-31 17:00:57
阅读次数：
228
1、做好下文中的所有配置：Hadoop1.2.1分布式安装-1-准备篇。 2、Hadoop2.x的发行版中有个小问题：libhadoop.so.1.0.0在64位OS中存在问题，因为它是32位的，在64位OS中hadoop启动时会报一个WARN的日志。这个包的作...
分类：
其他好文 时间：
2014-07-31 00:13:05
阅读次数：
286
1、在打算做namenode的机器上，wget或其他方式下载hadoop的压缩包，并解压到本地指定目录 下载解压命令参考Linux常用命令。 2、配置namenode，修改site文件 修改core-site.xml <configuration>
??<property>
?...
分类：
其他好文 时间：
2014-07-28 00:48:29
阅读次数：
214
1、概述Hadoop2.X中的HDFS(Vsersion2.0)相比于Hadoop1.X增加了两个重要功能，HA和Federation。HA解决了Hadoop1.XNamenode中一直存在的单点故障问题，HA策略通过热备的方式为主NameNode提供一个备用者，并且这个备用者的状态一直和主Namenode的元数据保持一致，一旦主NameNode挂..
分类：
其他好文 时间：
2014-07-22 14:55:35
阅读次数：
365
?一、下载须知 软件准备： spark-1.0.0-bin-hadoop1.tgz? ?下载地址：spark1.0.0 scala-2.10.4.tgz ? ?下载下载：Scala 2.10.4 hadoop-1.2.1-bin.tar.gz ? 下载地址：hadoop-1.2.1-bin.tar.gz jdk-7u60-li...
分类：
其他好文 时间：
2014-07-21 23:30:01
阅读次数：
525
Why Hadoop2? 自从Hadoop2出现之后，其迅速取代了Hadoop1的地位，并丰富了Hadoop的应用场景。如果现在有公司使用Hadoop的话，往往直接采用Hadoop2了。
Hadoop2能被如此广泛的使用，肯定有其自身的优势，本文将对其进行梳理...
分类：
其他好文 时间：
2014-07-19 12:01:58
阅读次数：
179
1、MapReduce理论简介
1.1 MapReduce编程模型
MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。
在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是Job...
分类：
其他好文 时间：
2014-07-16 16:20:31
阅读次数：
326
