这一节将在《Dockerfile完成Hadoop2.6的伪分布式搭建》的基础上搭建一个完全分布式的Hadoop集群。 1. 搭建集群中需要用到的文件 2. Hadoop的配置文件内容： core-site.xml文件： hdfs-site.xml文件： mapred-site.xml文件： yarn ...
分类：
其他好文 时间：
2016-08-12 21:27:10
阅读次数：
243
转发请注明本文链接 准备工作： VMware-workstation （网络统一设置为桥接） Xshell或者putty （方便在Windows下进行操作，复制粘贴命令方便，更推荐用第一个，以后不需要输入IP地址和帐号密码了） FileZilla （传输文件，端口22，使用SFTP协议） 环境为 C ...
分类：
其他好文 时间：
2016-08-12 11:35:44
阅读次数：
232
前言 上一篇我们讲解了Hadoop单节点的安装，并且已经通过VMware安装了一台CentOS 6.8的Linux系统，咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群，闲言少叙，进入本篇的正题。 技术准备 VMware虚拟机、CentOS 6.8 64 bit 安装流程 我们先来回顾 ...
分类：
其他好文 时间：
2016-08-12 01:14:06
阅读次数：
236
1.安装前，准备三台CENTOS6.6系统的主机或虚机,并且关闭防火墙及selinux.2.按如下表格配置IP地址，修改hosts文件及本机名192.168.199.21hadoop21Master102.168.199.22hadoop22Slave1192.168.199.23hadoop23Slave2同理修改Slave1，Slave2的IP地址，hosts文件及本机名。3.安装ORA..
分类：
其他好文 时间：
2016-08-06 22:02:59
阅读次数：
207
搭建完全分布式hbase集群------------------------- 1.配置master主机上的文件 [conf/hbase-site.xml] <configuration> <property> <name>hbase.rootdir</name> <value>hdfs://s1:8020/hbase</value> </property> <..
分类：
其他好文 时间：
2016-08-04 11:51:37
阅读次数：
122
使用3台机器搭建hdfs完全分布式集群 201(NameNode),202(DataNode),203(DataNode) 整体架构 NameNode（192.168.1.201） DataNode（192.168.1.202，192.168.1.203） SecondaryNameNode（192 ...
分类：
其他好文 时间：
2016-08-02 01:24:28
阅读次数：
289
A：安装zookeeper（完全分布式（使用虚拟机安装）） 1.上传zk安装包2.解压3.配置（先在一台节点上配置） 3.1添加一个zoo.cfg配置文件 $ZOOKEEPER/conf mv zoo_sample.cfg zoo.cfg 3.2修改配置文件（zoo.cfg） dataDir=/it ...
分类：
其他好文 时间：
2016-07-20 19:08:54
阅读次数：
172
当你利用Hadoop进行大数据分析和处理时，首先你需要确保配置、部署和管理集群。这个即不容易也没有什么乐趣，但却受到了开发者们的钟爱。本文提供了5款工具帮助你实现。 Apache Ambari Apache Ambari是对Hadoop进行监控、管理和生命周期管理的开源项目。它也是一个为Hortonworks数据平台选择管理组建的项目。......
分类：
其他好文 时间：
2016-07-15 21:27:09
阅读次数：
1358
hadoop---------------------1、可靠、可伸缩、分布式的计算框架，开源软件四大模块1、common hadoop0-common2、hdfs3、mapreduce4、yarn---------------------完全分布式：1、hdfs NameNode DataNode secondaryNode 启动脚本：start-all.sh(start-dfs.sh)2、Yarn ResourceMana..
分类：
其他好文 时间：
2016-07-03 15:59:54
阅读次数：
145
hadoop端口----------------1.namenode50070http://namenode:50070/2.resourcemanager:8088http://localhost:8088/3.historyServerhttp://hs:19888/4.namerpc(remoteprocedurecall,远程过程调用)hdfs://namenode:8020/ssh指令结合操作命令---------------------$>sshs300rm-..
分类：
其他好文 时间：
2016-06-27 00:14:25
阅读次数：
213
