摘要：MapReduce程序开发流程遵循算法思路、Mapper、Reducer、作业执行的步骤。...
分类：
其他好文 时间：
2014-06-07 13:42:08
阅读次数：
242
这里介绍一下hadoop的组成，
hadoop主要由两部分组成，，一个是hdfs，还有一个是mapreduce这两个部分在hadoop
2.2.0中分别用start-dfs.sh和start-yarn.sh启动。mapreduce 在2.0版本号中有了一个新名字yarn.dfs 主要用来启动
nam...
分类：
其他好文 时间：
2014-06-06 19:27:24
阅读次数：
322
目前发现mapreduce的用法有两种:一：计数以及实现聚合函数统计数据二：对数据进行分组简化或者构造自己想要的格式三：根据条件进行数据筛选现在普遍的用法是第一种，对于第二种用法我们会分析一些格式怎么构造。效果图mapreduce原理：参考资料：http://www.csdn.net/article...
分类：
数据库 时间：
2014-06-06 16:01:35
阅读次数：
390
相比Java的MapReduce
api，Pig为大型数据集的处理提供了更高层次的抽象，与MapReduce相比，Pig提供了更丰富的数据结构，一般都是多值和嵌套的数据结构。Pig还提供了一套更强大的数据变换操作，包括在MapReduce中被忽视的连接Join操作。Hadoop版本：2.2.0Pig...
分类：
其他好文 时间：
2014-06-05 20:08:13
阅读次数：
373
一：课程简介：作为云计算实现规范和实施标准的Hadoop恰逢其时的应运而生，使用Hadoop用户可以在不了解分布式底层细节的情况下开发出分布式程序，从而可以使用众多廉价的计算设备的集群的威力来高速的运算和存储，而且Hadoop的运算和存储是可靠的、高效，的、可伸缩的，能够使用普通的社区服务器出来PB...
分类：
其他好文 时间：
2014-06-05 16:37:09
阅读次数：
285
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始，在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声：如何从企业级开发的角度，不断动手实际操作，循序...
分类：
其他好文 时间：
2014-06-05 14:25:48
阅读次数：
300
一：课程简介：
Hadoop是云计算分布式大数据的事实标准软件框架，Hadoop中的架构实现是整个云计算产业技术的基础，作为与Google三大核心技术DFS、MapReduce、BigTable相对的HDFS、MapReduce、和HBase也是整个Hadoop生态系统的核心的技术，本课程致力于帮您...
分类：
其他好文 时间：
2014-06-05 14:17:33
阅读次数：
273
hadoop yarn的重构，根本的思想是将 JobTracker 两个主要的功能分离成单独的组件，这两个功能是资源管理和任务调度 / 监控。新的资源管理器全局管理所有应用程序计算资源的分配，每一个应用的 ApplicationMaster 负责相应的调度和协调。一个应用程序无非是一个单独的传统的 MapReduce 任务或者是一个 DAG( 有向无环图 ) 任务。ResourceManager 和每一台机器的节点管理服务器能够管理用户在那台机器上的进程并能对计算进行组织。...
分类：
其他好文 时间：
2014-06-02 02:27:16
阅读次数：
332
x86台式机，window7 64位系统
wmware虚拟机(x86的台式机至少是4G内存，才能开2台虚机)
centos6.4操作系统
hadoop-2.2.0.tar.gz
jdk-6u24-linux-i586.bin
WinScp 远程文件传输工具，很好用。可以用于windows和虚拟机Linux之间文件相互拷贝。...
分类：
其他好文 时间：
2014-06-02 02:23:23
阅读次数：
315
对于不同文件中的数据，有时候有对应关系，需要进行连接(join)，获得一个新的文件以便进行分析。比如有两个输入文件a.txt,b.txt，其中的数据格式分别如下
1 a
2 b
3 c
4 d
1 good
2 bad
3 ok
4 hello
需要将其连接成一个新的如下的文件：
a good
b bad
c ok
d hello
处理步骤可以分成两步：
1.map阶段，将两个输入文件...
分类：
其他好文 时间：
2014-06-01 09:05:01
阅读次数：
325
