Ubuntu12.04-x64编译安装Hadoop2.2.0集群、Hadoop-Eclipse插件
分类：
其他好文 时间：
2014-06-06 14:08:15
阅读次数：
421
由于现在hadoop2.0还处于beta版本，在apache官方网站上发布的beta版本中只有编译好的32bit可用，如果你直接下载安装在64bit的linux系统的机器上，运行会报一个INFO
util.NativeCodeLoader - Unable to load native-hadoop...
分类：
其他好文 时间：
2014-06-05 17:37:23
阅读次数：
310
测试版本：CDH5.0,（Hadoop2.3）在使用windows调用Hadoop yarn平台的时候，一般都会遇到如下的错误：2014-05-28 17:32:19,761 WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exception from container-launch with co...
分类：
其他好文 时间：
2014-06-03 06:26:17
阅读次数：
277
YARN总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave，ResouceManager负责对各个NodeManager上的资源进行统一管理和调度。当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个程...
分类：
其他好文 时间：
2014-06-02 22:20:44
阅读次数：
377
问题导读：1.什么是flume？2.如何安装flume？3.flume的配置文件与其它软件有什么不同？一、认识flume1.flume是什么？这里简单介绍一下，它是Cloudera的一个产品2.flume是干什么的？收集日志的3.flume如何搜集日志？我们把flume比作情报人员（1）搜集信息（2...
分类：
其他好文 时间：
2014-06-02 15:38:43
阅读次数：
477
经过前几天的学习，基本上能够小试牛刀编写一些小程序玩一玩了，在此之前做几项准备工作明白我要用hadoop干什么大体学习一下mapreduceubuntu重新启动后，再启动hadoop会报连接异常的问题答：数据提炼、探索数据、挖掘数据map=切碎，reduce=合并重新启动后会清空tmp目录，默认na...
一：环境准备：基于Windows下的VMware
Player4.0.3中的ubuntu12.04-64server.下载免费的VMware Player并安装好;下载 免费的Ubuntu 12.04
server版并在VMware中安装好；二：基础安装：执行如下命令升级部分软件和把ssh安装好：(...
分类：
其他好文 时间：
2014-05-25 14:48:03
阅读次数：
263
因为用的hadoop2.20所以下载sqoop-1.99.3-bin-hadoop200使用随便找一个hadoopnode节点做sqoopserver:1.下载安装[hadoop@slave1~]$wgethttp://mirror.bit.edu.cn/apache/sqoop/1.99.3/sqoop-1.99.3-bin-hadoop200.tar.gz[hadoop@slave1~]$tarxvfsqoop-1.99.3-bin-hadoop200.tar...
分类：
其他好文 时间：
2014-05-21 00:01:45
阅读次数：
439
HADOOP HA配置
hadoop2.x的ha配置，此文档中描述有hdfs与yarn的ha配置。
此文档的假定条件是zk已经安装并配置完成,其实也没什么安装的。
hdfs ha配置
首先，先配置core-site.xml配置文件：
在老版本中使用mr1时,还可能使用fs.default.name来进行配置
fs.defaultFS
此处配置的mycluster目前还没...
分类：
其他好文 时间：
2014-05-15 23:40:10
阅读次数：
705
积累了小一个月，终于搞定了64位Ubuntu14.4中的Hadoop集群环境安装。虽然只能算是囫囵吞枣，但是基本完成了预期的目标，接下来要细细品味所有的细节了。...
分类：
其他好文 时间：
2014-05-15 02:58:17
阅读次数：
297
