感觉可能只是适合我自己的部署习惯吧,且只针对CENTOS6及以下版本,以后有时间,可能还是要改进。。1,从VM的模块产生的虚拟机,如何快速搞定网络配置?#!/bin/bash#usage:./init_cdh_sys.sh hostname hostip#generate the host from...
分类:
其他好文 时间:
2015-04-28 08:17:58
阅读次数:
190
MapReduce概述 MapReduce是一种分布式计算模型,运行时不会在一台机器上运行.hadoop是分布式的,它是运行在很多的TaskTracker之上的. 在我们的TaskTracker上面跑的是Map或者是Reduce Task任务. 通常我们在部署hadoop taskTrac...
分类:
其他好文 时间:
2015-04-14 08:26:08
阅读次数:
146
《Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点、十大目标)》 课程讲师:迪伦 课程分类:大数据 适合人群:初级 课时数量: 300课时 用到技术:部署Hadoop集群 涉及项目:京东商城、百度、阿里巴巴 咨询QQ:779591710 下载地址: 链接:http://pan.bai...
分类:
其他好文 时间:
2015-04-01 11:02:36
阅读次数:
124
hadoop官方网站中只提供了32位的hadoop-2.2.0.tar.gz,如果要在64位ubuntu下部署hadoop-2.2.0,就需要重新编译源码包,生成64位的部署包。建议以下操作使用root账户,避免出现权限不足的问题。安装jdk请参考文章《在ubuntu中安装jdk》。安装maven请...
分类:
系统相关 时间:
2015-03-07 09:04:18
阅读次数:
236
介绍Hadoop安装好后,有人会想做一个mapreduce的job跑一跑,mapreduce其实是两个功能,一个是mapper,一个是reducer,废话不多说,现在开始。正文1环境1.1部署hadoop单机版即可,namenode,datanode,resourcemanager,nodemanager,secondnamenode都部署在同一台机器上。创建hadoo..
分类:
其他好文 时间:
2015-01-30 17:52:32
阅读次数:
313
《Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点、十大目标)》
课程讲师:迪伦
课程分类:大数据
适合人群:初级
课时数量: 300课时
用到技术:部署Hadoop集群
涉及项目:京东商城、百度、阿里巴巴
咨询QQ:779591710
下载地址:
链接:http://pan.baidu.com/share/link?shareid=32...
分类:
其他好文 时间:
2015-01-26 12:00:17
阅读次数:
229
《Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点、十大目标)》 课程讲师:迪伦 课程分类:大数据 适合人群:初级 课时数量: 300课时 用到技术:部署Hadoop集群 涉及项目:京东商城、百度、阿里巴巴 咨询QQ:779591710 下载地址: 链接:http://pan.bai...
分类:
其他好文 时间:
2015-01-26 11:31:26
阅读次数:
153
介绍这一系列博文介绍hadoop集群的部署和安装,因为hadoop确实比较复杂,所以分为几个部分来一一介绍。大致有基础篇,HA-QJM篇,Federation篇。正文一、操作环境虚拟机4台,配置基于hadoop的集群中包括4个节点:1个Master,3个Salve,节点之间局域网连接,可以相互ping通,Ip分..
分类:
系统相关 时间:
2015-01-21 20:26:44
阅读次数:
347
环境基础篇需要4台机器(一台namenode,三台datanode);HA篇需要8台机器:两台namenode(一台作activenn,另一台作standbynn),三台datanode,三台zookeeper(也可以省去这三台,把zookeeperdaemon部署在其他机器上)。实际上还需要3台journalnode,但因为它比较轻量级,所以这里就..
分类:
系统相关 时间:
2015-01-21 20:20:32
阅读次数:
358