1:Hadoop分布式计算平台是由Apache软件基金会开发的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 Hadoop 中的分布式文件系统 HDF ...
分类:
其他好文 时间:
2017-10-09 19:42:54
阅读次数:
154
该视频教程共22讲,由王家林老师主讲。 第01讲:为什么会有第一代大数据技术Hadoop和第二代大数据技术Spark? 第02讲:10分钟从技术角度理解Hadoop 第03讲:Hadoop集群安装解析 第04讲:Hadoop集群构建硬件选择、集群规模、网络拓扑、机架感知等 第05讲:Hadoop集群 ...
分类:
其他好文 时间:
2017-08-14 10:12:38
阅读次数:
190
简介: Apache Hadoop 集群安装文档 软件:jdk-8u111-linux-x64.rpm、hadoop-2.8.0.tar.gz http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.t ...
分类:
Web程序 时间:
2017-04-12 19:58:46
阅读次数:
401
1、主机规划序号主机名IP地址角色1nn-1192.168.9.21NameNode、mr-jobhistory、zookeeper、JournalNode2nn-2192.168.9.22Secondary NameNode、JournalNode3dn-1192.168.9.23DataNode... ...
分类:
Web程序 时间:
2017-03-01 15:54:24
阅读次数:
576
我家宝最近在自学Hadoop,于是乎跟着一起玩玩,在此为她整理一篇基础搭建的博客,希望对她能有所帮助。同样,开始之前先来了解下,什么是Hadoop。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。它是根据Google公司发表的MapReduce和Google文件系统的论文自行实现而成..
分类:
系统相关 时间:
2017-02-11 22:53:41
阅读次数:
395
虚拟机安装不要用Cgywin系统都为32位的Centos5Linux安装ssh协议,安装的时候选中ssh安装包。一、硬件环境2机器,通过hostname进行设置:master(192.168.1.102)slave1(192.168.1.101)该环境目前只有2个节点,有资源的话可以增加slave2、slave3…虚拟机上安装linux的话,用使用桥..
分类:
其他好文 时间:
2016-12-16 19:59:06
阅读次数:
198
本文的安装只涉及了hadoop-common、hadoop-hdfs、hadoop-mapreduce和hadoop-yarn,并不包含HBase、Hive和Pig等。 http://blog.csdn.net/aquester/article/details/24621005 1. 规划 1.1.... ...
分类:
其他好文 时间:
2016-08-14 14:42:35
阅读次数:
170
需要的环境:
Ubuntu server 14.04 四台
Windows 7 操作系统(内存尽量大)
Xshell 软件 安装在Windows 7操作系统上
Hadoop-2.6.4 软件(编译好)
参考文档:
Hadoop 集群安装:
(1) http://www.linuxidc.com/Linux/2015-01/111463.htm
(2) http://blog.csd...
分类:
系统相关 时间:
2016-07-13 17:36:50
阅读次数:
745
摘自:http://www.powerxing.com/install-hadoop-cluster/ 本教程讲述如何配置 Hadoop 集群,默认读者已经掌握了 Hadoop 的单机伪分布式配置,否则请先查看Hadoop安装教程_单机/伪分布式配置 或 CentOS安装Hadoop_单机/伪分布式 ...
分类:
系统相关 时间:
2016-06-28 12:29:06
阅读次数:
297
本次Hadoop集群安装一共使用四个节点,各节点IP如下: Master 172.22.120.191 Slave1 172.22.120.192 Slave2 172.22.120.193 Slave3 172.22.120.193 系统版本CentOS 6.2L JDK版本:1.7 Hadoop ...
分类:
其他好文 时间:
2016-05-31 13:45:48
阅读次数:
147