简化陆喜恒. Hadoop实战（第2版）5.4单表关联的代码时遇到空指向异常，经分析是逻辑问题，在此做个记录。环境：Mac OS X 10.9.5, IntelliJ IDEA 13.1.5, Hadoop 1.2.1改好的代码如下，在reduce阶段遇到了NullPointerException。...
分类：
其他好文 时间：
2014-10-07 15:34:23
阅读次数：
175
修改陆喜恒. Hadoop实战（第2版）5.3排序的代码时遇到IO异常。环境：Mac OS X 10.9.5, IntelliJ IDEA 13.1.5, Hadoop 1.2.1异常具体信息如下 1 14/10/06 03:08:51 INFO mapred.JobClient: Task Id ...
分类：
其他好文 时间：
2014-10-07 14:44:53
阅读次数：
168
这篇文章将接着上一篇wordcount的例子，抽象出最简单的过程，一探MapReduce的运算过程中，其系统调度到底是如何运作的。情况一：数据和运算分开的情况 wordcount这个例子的是hadoop的helloworld程序，作用就是统计每个单词出现的次数而已。其过程是：现在我用文字再来描述下....
分类：
其他好文 时间：
2014-09-23 14:36:44
阅读次数：
227
前言本文介绍的是在Ubuntu下安装用三台PC安装完成Hadoop集群并运行好第一个Hello World的过程，软硬件信息如下：Ubuntu:12.04 LTSMaster: 1.5G RAM,奔腾处理器。Slave1、Slave2:4G RAM,I3处理器。开始1 安装Ubuntu :http:...
分类：
其他好文 时间：
2014-09-18 18:38:04
阅读次数：
326
前言对Hadoop的最感兴趣的地方，也就在于Hadoop的作业调度了，在正式介绍如何搭建Hadoop之前，深入理解一下Hadoop的作业调度很有必要。我们不一定能用得上Hadoop，但是如果理通顺Hadoop的分布式调度原理，在有需要的时候未必不能自己写一个Mini Hadoop~: )开始本文转载...
分类：
其他好文 时间：
2014-09-18 18:28:44
阅读次数：
298
Hadoop大数据零基础高端实战培训系列配文本挖掘项目大数据Hadoop实战视频教程就从最基础的Java语法、数据库、Linux讲起到深入Hadoop大数据技术所必须的所有知识，设计Hadoop生态圈所有常用组件，包括但不限于：Greenplum数据库、HBase、Hive、Pig、ZooKeepe...
分类：
其他好文 时间：
2014-09-18 14:33:03
阅读次数：
267
前言对技术，我还是抱有敬畏之心的。Hadoop概述Hadoop是一个开源分布式云计算平台，基于Map/Reduce模型的，处理海量数据的离线分析工具。基于Java开发，建立在HDFS上，最早由Google提出，有兴趣的同学可以从Google三驾马车:GFS,mapreduce,Bigtable开始了...
分类：
其他好文 时间：
2014-09-10 13:52:40
阅读次数：
298
我在学习hadoop，在看陆嘉恒编著的hadoop实战，其中有单表连接的程序，我现在整理一下思路。这个问题是课本上的例子。给出child-parent表，要求输出grandchild-grandparent表样例输入：childparentTomLucyTomJackJoneLucyJoneJackLucyMaryLucyBenJackAliceJackJeseeTerryAliceT..
分类：
其他好文 时间：
2014-09-09 13:46:40
阅读次数：
116
第一部分：core-site.xml?core-site.xml为Hadoop的核心属性文件，参数为Hadoop的核心功能，独立于HDFS与MapReduce。参数列表?fs.default.name?默认值 file:///?说明：设置Hadoop namenode的hostname及port，预...
分类：
其他好文 时间：
2014-08-23 15:13:50
阅读次数：
217
Hadoop实例视频教程-深入浅出Hadoop实战开发Hadoop是什么，为什么要学习Hadoop?Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hado...
分类：
其他好文 时间：
2014-07-31 16:35:06
阅读次数：
177
