1、 需要下载hadoop的专门插件jar包hadoop版本为2.3.0，hadoop集群搭建在centos6x上面，插件包下载地址为：http://download.csdn.net/detail/mchdba/8267181，jar包名字为hadoop-eclipse-plugin-2.3.0，...
本文实例介绍了SpatialHadoop平台，它是第一个基于成熟MapReduce对空间数据具有原生支持的框架。SpatialHadoop是对Hadoop的做了一个全面的扩展，使其核心功能可以支持空间数据。因此，对于处理空间数据，SpatialHadoop与目前存在的Hadoop项目相比具有更好的性能。SpatialHadoop主要包括一个简单的空间高级语言、两级空间索引结构，以及建立在MapReduce层的基本空间组件和三个基本空间操作（范围查询、K-NN查询和空间链接）。其他的空间操作同样也可以在Spa...
分类：
其他好文 时间：
2014-12-17 14:45:31
阅读次数：
414
网上有一些都是在Linux下使用安装Eclipse来进行hadoop应用开发，但是大部分Java程序员对linux系统不是那么熟悉，所以需要在windows下开发hadoop程序，所以经过试验，总结了下如何在windows下使用Eclipse来开发hadoop程序代码。 1、 需要下载hadoop的专门插件jar包hadoop版本为2.3.0，hadoop集群搭建在centos6x上面，插件包下载...
在概况(一)中，主要简单的对Yarn的情况作了简单的介绍，今天花一定时间在某些具体的模块上呈现以下Yarn的整体情况，帮助大家更好的理解Yarn。
1）ResourceManager
在Yarn的整体架构中，他用的也是Master/Slave架构，他的Slave是NodeManager，RM在Yarn中扮演着一个非常重要的角色，他是负责集群中所有资源的统一管理和分配的。他根据各个NM的资源汇报...
分类：
其他好文 时间：
2014-12-16 17:08:18
阅读次数：
178
HDInsight如何创建Hadoop集群
带大家一起看下微软Azure云中的Hadoop集群创建，首先你必须先创建个存储账号，然后新建Hadoop集群，等待21分钟左右，一个Hadoop集群就创建完成了，看图：...
分类：
其他好文 时间：
2014-12-15 19:07:50
阅读次数：
206
前言 对于Hadoop集群来说，节点损坏是非常常见的现象。 而Hadoop一个很大的特点就是某个节点的损坏，不会影响到整个分布式任务的运行。 下面就来分析Hadoop平台是如何做到的。硬件故障 硬件故障可以分为两种 - JobTracker节点损坏和TaskTracker节点损坏。 1.J...
分类：
其他好文 时间：
2014-12-12 23:30:07
阅读次数：
276
当时，hadoop已经安装成功，但是secondarynamenode没有启动
后来经过研究，原来是配置的目录有问题
首先修改一下shell文件
文件路径：/home/work/hadoop/bin
原来：master 现在：secondarynamenode
[work@master bin]$ cat start-dfs.sh
#!/usr/bin/env bash
...
分类：
其他好文 时间：
2014-12-11 15:56:46
阅读次数：
224
首先配置好，secondarynamenode
如果也想让这个单独的计算机，也作为datanode呢，用一下方法，就可以了，
把原来的secondarynamenode的节点加入到，从节点的文件里面就可以了。
[work@master conf]$ cat slaves
node1
node2
node3
[work@master conf]$ cat secondarynameno...
分类：
其他好文 时间：
2014-12-11 15:47:02
阅读次数：
170
本文主要对如何在Sahara环境上部署Hadoop集群做一个总结，也把自己部署的时候填过的坑总结下，避免其他人在同一个坑掉下。...
分类：
其他好文 时间：
2014-12-11 14:07:57
阅读次数：
377
计算下微软Windows Azure HDInsight中Hadoop和HBase的成本和省钱秘籍
计算：
以一个最简单Hadoop集群来计算，需要两个头节点（Namenode）和两个数据节点（Datanode）以及3个Zookeeper结点，这样算下来每小时要5.44+2.72*2+0*3=10.88RMB，每天需要10.88*24=261.12RMB，每个月需要261.12*30=7833.6RMB，这是最低配置！...
