下面记录下hadoop完全分布式安装的过程，其中hadoop使用的版本是apache下的，不是cdh。 完全分布式示意图 下面在三台节点上安装hadoop完全分布式，其中一个服务器节点上将有多个hadoop相关的节点，最后是压缩到三台的安装效果，正常来说至少13个服务节点。 （1）zookeeper ...
分类：
其他好文 时间：
2019-12-29 11:22:41
阅读次数：
118
zookeeper将管理一批''动物''，如小象hadoop，小鲸鱼hbase等，先记录下安装完全分布式zookeeper，以备后用。 解压zookeeper压缩包 [root@hadoop01 /home/software]# tar -zxvf zookeeper-3.4.8.tar.gz 修改 ...
分类：
其他好文 时间：
2019-12-28 22:34:08
阅读次数：
107
近年来随着非结构化数据的爆发性增长，由于IBMFileNet系统架构问题出现了明显性能瓶颈，杉岩海量对象存储系统（SandStoneMOS）采用全分布式架构，针对海量文件场景提供可线性扩展的持续快速访问性能，同时提供全方位的海量数据保护支持和数据生命周期管理功能，能够完美替代IBMFileNet。非结构化数据的爆炸式增长，使有价值的信息散落在各个“孤岛”。这些非结构化信息包括办公文档、视频影像与音
分类：
Web程序 时间：
2019-12-21 15:58:57
阅读次数：
177
自2006年至今十余年来，金融行业内容管理系统通常采用Documentum+DB+NAS的整体解决方案，如下图1所示，Documentum结合DB的索引能力和NAS的存储能力，向上为影像平台等业务提供文档数据的存储和检索读取服务。近年来随着非结构化数据的爆发性增长，由于Documentum系统架构问题，此套解决方案出现了明显性能瓶颈，杉岩海量对象存储系统（SandStoneMOS）采用全分布式架构
分类：
其他好文 时间：
2019-12-19 21:36:32
阅读次数：
92
完全分布式集群模式，是真正的生产环境，这里详细讲解的就是如何搭建一个Hadoop完全分布式集群。 ...
分类：
其他好文 时间：
2019-12-16 09:43:30
阅读次数：
97
[toc] 集群规划 hdfs结构分析 1.NameNode 名称节点 master 管理其他节点。需要配置ssh免密管理 2.DateNode 数据节点 3.SecondaryNameNode 辅助名称节点 |主机名|ip|作用| | | | | |s101|192.168.255.101|Nam ...
分类：
其他好文 时间：
2019-12-09 21:13:14
阅读次数：
105
一、环境准备 ①准备三台虚拟机，配置静态IP ②先修改主机名(每个节点统一命名规范) vim /etc/hostname master #重启生效 配置DNS每个节点 vim /etc/hosts 192.168.60.121 master192.168.60.122 salve1 192.168. ...
分类：
其他好文 时间：
2019-12-03 18:08:46
阅读次数：
106
1. 前置条件: 已经安装好了带有HDFS, MapReduce, Yarn 功能的 Hadoop集群 链接: "ubuntu18.04.2 hadoop3.1.2+zookeeper3.5.5高可用完全分布式集群搭建" 2. 上传tar包并解压到指定目录: 3. 修改hive配置文件: 新建文件夹 ...
分类：
其他好文 时间：
2019-12-02 13:51:54
阅读次数：
127
准备： 两台配置CentOS 7.3的阿里云ECS服务器； hadoop-2.7.3.tar.gz安装包； jdk-8u77-linux-x64.tar.gz安装包； hostname及IP的配置： 更改主机名： 由于系统为CentOS 7，可以直接使用‘hostnamectl set-hostna ...
分类：
其他好文 时间：
2019-11-23 13:12:49
阅读次数：
108
本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建，多添加了一个 datanode 节点 。 1 节点环境介绍： 1.1 环境介绍： 服务器：三台阿里云ECS服务器：master, slave1, slave2 操作系统：CentOS 7.3 Had ...
分类：
其他好文 时间：
2019-11-23 13:10:47
阅读次数：
98
