原文链接：https://blog.csdn.net/u012834750/article/details/80508464 前言 每次在使用Docker启动Hadoop集群的时候，都需要重新绑定下网卡，固定IP，同时修改/etc/hosts文件，非常麻烦，于是想探寻下原因及优化。一、原因/etc/ ...
分类：
其他好文 时间：
2019-12-23 00:55:14
阅读次数：
344
与docker搭建hadoop不一样的是，本次采用Dockerfile的方式构建镜像，然后启动镜像，形成多主机多容器的方式启动Hadoop集群。 1.在各个宿主机上搭建网桥weave curl -L git.io/weave -o /usr/local/bin/weave weave launch ...
分类：
其他好文 时间：
2019-12-19 16:33:04
阅读次数：
98
目标：搭建hadoop+hbase+zoopkeer+hive开发环境安装环境:1、centeros192.168.1.1012、centeros192.168.1.102开发环境：window+eclipse一、安装hadoop集群1、配置hosts#vi/etc/hosts192.168.1.101master192.168.1.101slave12、关闭防火墙：systemctlstatus
分类：
其他好文 时间：
2019-12-18 10:52:49
阅读次数：
80
搭建Hadoop集群需要注意的问题： 1.检查三台主机名是否正确 2.检查三台IP是否正确 3.检查 /etc/hosts 映射是否正确 4.检查 JDK和Hadoop 是否安装成功（看环境变量配置） 键入 ：sudo vi /etc/profile进到文件之后，检查环境变量配置是否正确： 5.检查 ...
分类：
其他好文 时间：
2019-12-15 14:27:17
阅读次数：
101
当需要从Hive等Hadoop集群迁移数据到GaussDB200集群时，因为数据量太大，可能无法导出到本地。此时需要GaussDB200跨集群读取HDFS上的数据，并写入GaussDB200集群。目前GaussDB200只支持跨集群访问FusionInsightHD中的HDFS。前提条件FusionInsightHD和GaussDB200两个集群状态正常并且可以互相通信。远端FusionInsig
分类：
数据库 时间：
2019-12-12 16:34:48
阅读次数：
212
本来我一直想搭建一个hadoop分布式平台，没有高性能机器，也没有那么多机器，搞很很久，都没有能搞定。但基于docker，5-10min轻易搞定。 感谢大神KiwenLau的分享，网址是https://kiwenlau.com/2016/06/12/160612-hadoop-cluster-doc ...
分类：
其他好文 时间：
2019-12-12 11:37:41
阅读次数：
89
因为要配置Hadoop集群服务，折腾了好久的ssh免密登录，简直要把人整疯了，在网上看了好多分享，都没搞定，最后看到一篇类似的，加上自己瞎蒙，终于成了，而且是超级简单，现在吐血总结一下。 我的是CentOS8虚拟机，干货来了。 第一步：vim /etc/ssh/sshd_config，将Pubkey ...
分类：
系统相关 时间：
2019-12-10 15:11:21
阅读次数：
103
1 主要步骤 配置网络 修改主机名 关闭防火墙 关闭SELinux 安装jdk 增加hadoop用户 配置ssh信任 配置hadoop 集群部署规划 5台服务器， 一个主节点：nn1.hadoop， master （HA） 一个从节点：nn2.hadoop，slave 三个工作节点： s1.hado ...
分类：
系统相关 时间：
2019-12-09 01:34:10
阅读次数：
243
master操作： [admin@master ~]$ start-all.sh [admin@master ~]$ jps [admin@master ~]$ hadoop fs -mkdir /input [admin@master ~]$ cd hadoop-3.0.0/[admin@mast ...
分类：
其他好文 时间：
2019-12-06 19:32:59
阅读次数：
92
准备 1、hadoop集群已安装，这里将在Centos7安装Hadoop2.7的基础上安装hbase1.4，所以是同样的三台机器，其规划如下： 2、官网下载安装包：hbase-1.4.12-bin.tar.gz（推荐去清华大学或中科大的开源镜像站）。 3、hbase将部署在三台都已存在的路径/myd ...
分类：
其他好文 时间：
2019-12-06 19:29:47
阅读次数：
95
