注意：可以查看Redis官网查看集群搭建方式，连接如下 https://redis.io/topics/cluster-tutorial 集群中应该至少有三个节点，每个节点有一备份节点。需要6台服务器。 如果条件有限，可以搭建伪分布式，以下步骤是在一台 Linux 服务器上搭建有6个节点的 Redi ...
分类：
系统相关 时间：
2019-11-04 15:34:32
阅读次数：
90
[TOC] 版本与环境 虚拟机：VMware Workstation Pro 15 Linux镜像： "Ubuntu 18.04.2 live server amd64.iso" Java版本： "jdk 8u231 linux x64.tar.gz" Hadoop版本： "version 3.1. ...
分类：
其他好文 时间：
2019-10-28 21:20:56
阅读次数：
122
1、安装jdk 2、配置java环境变量 3、配置ssh免密钥登陆 4、解压hadoop安装包 5、配置hadoop环境变量 6、hadoop的java环境变量配置 7、配置core-site.xml 8、配置hdfs-site.xml 9、配置slaves文件 10、格式化hdfs 11、启动集群 ...
分类：
其他好文 时间：
2019-10-27 16:57:48
阅读次数：
94
目的： CentOS7 安装 Hadoop 伪分布式环境 组件版本信息： Hadoop: 2.7.7 Hbase: 1.4.8 zookeeper：3.4.7 资料下载： 资料包含：虚拟机安装包，CentOS7镜像，所需组件 链接：https://pan.baidu.com/s/1-Ye0vppf1 ...
分类：
其他好文 时间：
2019-10-25 13:12:04
阅读次数：
71
准备4台机器分别为node1 node2 node3 node5 1、第一台node1 1、修改固定IP 2、修改主机名 3、添加与其他机器的映射 2、第二台机器 通过克隆复制多个，按上面的配置进行配置 3、免密登录 假如node1需要免密登录到node2 node3 node5 在node1的机器 ...
分类：
其他好文 时间：
2019-10-22 15:32:14
阅读次数：
125
一、软硬件环境 CentOS 7.2 64位 OpenJDK-1.8.0 Hadoop-2.7 二、安装SSH客户端 安装ssh: yum install openssh-clients openssh-server安装完成后，使用以下命令测试： ssh localhost输入 root 账户的密码 ...
分类：
其他好文 时间：
2019-10-21 11:37:21
阅读次数：
96
Hadoop伪分布式集群搭建总结一、所需软件VMware15!CentOS6.5JDK1.8Hadoop2.7.3二、安装注意：对文件进行编辑：输入a，表示对该文件进行编辑，最后保存该文件，操作为：点击键盘上的Esc按钮，然后输入英文的:字符，再输入wq，点击回车，完成文件的保存。1、关闭防火墙和禁用SELINUX（1）、永久关闭防火墙，重启Linux系统（2)、禁用SELINUX：修改文件参数重
分类：
其他好文 时间：
2019-10-12 10:52:33
阅读次数：
260
Hadoop简介 Hadoop由Apache基金会开发的分布式系统基础架构，是利用集群对大量数据进行分布式处理和存储的软件框架。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠，高扩展，高效性，高容错等优点。Hadoop 框架最核心的设计就是HDFS和MapR ...
分类：
其他好文 时间：
2019-09-25 12:47:34
阅读次数：
126
hadoop 分布式计算框架。 common // hdfs //存储 mapreduce //MR,编程模型. yarn //资源调度. 集群部署 1.standard alone/local nothing. 2.伪分布式 一台机器. NN //目录 DN //DataNode,block（12 ...
分类：
其他好文 时间：
2019-09-16 23:50:45
阅读次数：
134
伪分布式环境： HA环境checkpoint机制 配置了HA的HDFS中，有active和standby namenode两个namenode节点。他们的内存中保存了一样的集群元数据信息，因为standby namenode已经将集群状态存储在内存中了，所以创建检查点checkpoint的过程只需要 ...
分类：
其他好文 时间：
2019-09-14 22:23:28
阅读次数：
122
