1、准备工作 三个节点 192.168.56.110cdh1 192.168.56.111cdh2 192.168.56.112cdh3 关闭所有节点防火墙 serviceiptablesstop chkconfigiptablesoff vi/etc/selinux/configSELINUX=disabled cdh1节点安装http服务并启动 yuminstallhttpd servicehttpdstart chkconfighttpdon ..
分类:
其他好文 时间:
2015-02-06 15:07:17
阅读次数:
641
forexample:wget-r-nH-A"*.rpm"http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.3.0/RPMS/noarch
分类:
其他好文 时间:
2015-01-22 18:27:00
阅读次数:
141
1集群环境主节点master001 ~~ master006从节点slave001 ~~ slave0642安装CDH5的YUM源rpm -Uvhhttp://archive.cloudera.com/cdh5/one-click-install/redhat/6/x86_64/cloudera-c...
分类:
其他好文 时间:
2015-01-16 16:21:34
阅读次数:
328
配置CDH和管理服务
关闭DataNode前HDFS的调优
角色要求:配置员、集群管理员、完全管理员
当一个DataNode关闭,NameNode确保每一个DataNode中的每一个块根据复制系数(the replication factor)跨集群仍然是可用的。这个过程涉及到DataNode间小批次的块复制。在这种情况下,一个DataNode有成千上万个块,关闭后集群间还原备份数可能...
分类:
其他好文 时间:
2015-01-16 11:20:07
阅读次数:
509
工欲善其事,必先利其器,啥都不说,hadoop下载:http://archive.cloudera.com/cdh5/cdh/5/ 选择好相应版本搞起
在本文讲述的是 围绕hadoop-2.3.0-cdh5.1.2版本安装过程。(安装环境为自己在VMWare 10里面搭建的三台linux 虚拟机)
1、hadoop 是大apache开源的分布式离线计算框架,语言:java,既然这样,要想搭建...
分类:
其他好文 时间:
2015-01-13 19:49:37
阅读次数:
340
集群节点数量3 个192.168.1.170 cdh-master192.168.1.171 cdh-slave-1192.168.1.171 cdh-slave-2一、安装CentOS6.5 (64位)并搭建基本环境,包括:(1)添加sudo 权限(2)修改主机名、网关、静态IP地址、DNS(3)...
分类:
其他好文 时间:
2015-01-12 09:11:42
阅读次数:
322
需要注意的事情:1. 对于wordcount1.0 ,按照http://www.cloudera.com/content/cloudera/en/documentation/HadoopTutorial/CDH4/Hadoop-Tutorial/ht_usage.html#topic_5_2 执行。...
分类:
其他好文 时间:
2015-01-11 22:49:04
阅读次数:
166
本章我们安装了时钟同步环境,以便后续的安装中,所有服务器有相同的时间...
分类:
其他好文 时间:
2015-01-10 22:22:06
阅读次数:
222
Hadoop是一个复杂的系统组合,搭建一个用于生产的Hadoop环境是一件非常麻烦的事情。但这个世界上总有一些牛人会帮你解决一些看似痛苦的问题,如果现在没有,那也是早晚的事。CDH是Cloudera旗下的Hadoop套装环境,CDH的相关介绍请各位亲自己查阅www.cloudera.com,我就不再多说了。这里主要是介绍使用CDH5.3安装一个可以用于生产的Hadoop环境。虽然人家Cloudera牛人帮你解决了hadoop安装的问题,但随之而来的是:Cloudera Manager的安装不比hadoop的...
分类:
其他好文 时间:
2015-01-09 23:48:10
阅读次数:
514