六、Hadoop1.x与Hadoop2的区别1、变更介绍Hadoop2相比较于Hadoop1.x来说,HDFS的架构与MapReduce的都有较大的变化,且速度上和可用性上都有了很大的提高,Hadoop2中有两个重要的变更:l HDFS的NameNodes可以以集群的方式布署,增强了NameNodes的水平扩展能力和可用性;l MapReduce将JobTracker中的资源管理及任务生命周期管理...
分类:
其他好文 时间:
2014-06-22 14:07:49
阅读次数:
256
参考链接:http://blog.csdn.net/zolalad/article/details/11470449环境:ubuntu14.04 hadoop1.0.1下面以3台机器为例,讲解安装过程1)准备3台机器,一台作为nameNode,命名为master,两台作为dataNode,命名为sl...
分类:
其他好文 时间:
2014-06-18 00:06:18
阅读次数:
243
三、配置Hadoop1、设置$HADOOP_HOME/conf/hadoop-env.sh这个文件中设置的是Hadoop运行时需要的环境变量,在1.2.1版中共有19个环境变量,如下: 变量名称默认值说明JAVA_HOME 设置JDK的路径,这个必须设置,否则Hadoop无法启动,值如:/usr/local/jdk1.6.0_33HADOOP_CLASSPATH空这个用以设置用户的类路径,也可以在...
分类:
其他好文 时间:
2014-06-16 19:59:35
阅读次数:
380
1、VirtualBox 安装 恩,一路默认即可安装完毕。2、宿主机网络环境配置(使用Host-Only模式,上网啥的不用改配置) 2.1 右击VirtualBox选择属性,更改网络IP设置 2.2 设置为Ip地址和子网掩码为如下属性:,点击确定。(注意Centos默认网段为56) 3、...
分类:
其他好文 时间:
2014-06-15 20:36:49
阅读次数:
251
1、hive的安装 (1)解压缩、重命名、设置环境变量,参考hadoop1学习系列2 (2)在目录$HIVE_HOME/conf/下,执行命令mv hive-default.xml.template hive-site.xml重命名 在目录$HIVE_HOME/conf/下,执行命令mv hive-...
分类:
其他好文 时间:
2014-06-14 10:58:35
阅读次数:
227
1.hadoop的伪分布安装(采用Host-only模式) 1.1 设置ip地址 1.1.1设置宿主机的VirtualBox Host-only Network网路设置 IP地址:192.168.56.1 子网掩码:255.255.255.0 默认网关:不填 ...
分类:
其他好文 时间:
2014-06-14 09:50:02
阅读次数:
207
关于hadoop1.X的安装,其实和0.x的基本没有多大的差别。...
分类:
其他好文 时间:
2014-06-07 14:57:07
阅读次数:
195
目录 1 环境准备... 4 1.1 硬件配置... 4 1.2 软件... 4 1.3
网络拓扑结构... 4 1.4 系统分区... 5 1.5 虚拟机配置... 5 1.6 SSH免密码登录... 5 1.7 JDK安装... 7 2
Hadoop1.2.1安装及配置... 8 2.1 下载H...
分类:
其他好文 时间:
2014-06-05 15:11:16
阅读次数:
606
Hadoop2.0是对Hadoop1.0全面升级,诞生了通用的计算框架YARN,很多计算框架或者应用程序不再基于传统的操作系统开发,而是基于YARN这个云操作系统。典型的代表是DAG计算框架Tez,当然还有一些其他知名的自运行的计算集群系统也在YARN上有开源版本,比如Storm-on-yarn,S...
分类:
其他好文 时间:
2014-06-03 13:09:44
阅读次数:
336
声明:
1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。2)本小实验工作环境为Windows系统下的百度云(联网),和Ubuntu系统的hadoop1-2-1(自己提前配好)。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3)本文由于过长,无法一次性上传。其相邻相关的博....
分类:
其他好文 时间:
2014-05-30 12:45:25
阅读次数:
563