参考：HDFS概述（4）————HDFS权限 HDFS概述（3）————HDFS Federation HDFS概述（2）————Block块大小设置 HDFS概述（1）————HDFS架构问题Q: 一个常被问到的一个问题是： 如果一个HDFS上的文件大小(file size) 小于块大小(bloc... ...
分类：
其他好文 时间：
2017-07-08 18:41:46
阅读次数：
161
单Active NN的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NN进程使用的内存可能会达到上百G，NN成为了性能的瓶颈 常用的估算公式为1G对应1百万个块，按缺省块大小计算的话，大概是64T (这个估算比例是有比较大的富裕的，其实，即使是每个文件只有一个块，所有元数 ...
分类：
其他好文 时间：
2017-06-09 11:16:46
阅读次数：
200
This guide provides an overview of the HDFS Federation feature and how to configure and manage the federated cluster.这篇文档包好了hdfs federation特点的概述和如何配置并 ...
分类：
其他好文 时间：
2017-04-22 20:43:47
阅读次数：
292
Hadoop生产环境搭建 1. 将安装包hadoop-2.x.x.tar.gz存放到某一目录下，并解压。 2. 修改解压后的目录中的文件夹etc/hadoop下的配置文件（若文件不存在，自己创建。） 包括hadoop-env.sh,mapred-site.xml,core-site.xml,hdfs... ...
分类：
其他好文 时间：
2017-04-15 18:26:10
阅读次数：
123
1 VM网络配置... 3 2 CentOS配置... 5 2.1 下载地址... 5 2.2 激活网卡... 5 2.3 SecureCRT. 5 2.4 修改主机名... 6 2.5 yum代理上网... 7 2.6 ... ...
分类：
其他好文 时间：
2017-01-24 22:52:06
阅读次数：
1019
VM网络配置... 3 CentOS配置... 5 下载地址... 5 激活网卡... 5 SecureCRT. 5 修改主机名... 6 yum代理上网... 7 安装ifconfig. 8 wget安装与代理... 8 安装VMware Tools. 8 其他... 9 问题... 9 设置..... ...
分类：
其他好文 时间：
2017-01-24 13:43:42
阅读次数：
1580
转自 http://www.linuxidc.com/Linux/2012-04/58182p3.htm 前言保证HDFS高可用是Hadoop被推广以来很多技术人员一直关心的问题，通过搜索引擎搜索也可以得到很多的方案。恰逢HDFS Federation出炉，本文将一些涉及到有关NameNode、Se ...
分类：
其他好文 时间：
2017-01-12 11:41:18
阅读次数：
223
Hadoop2经典分布式部署模式 基于QJN的HA模式的分布式部署，不含Federation模块的实践是一个经典的Hadoop2的高可用的分布式部署模式。 1.准备测试环境 2.安装步骤 一、初始化每台linux系统设置 安装centos6.4 x64的操作系统，安装过程略 安装成功后初始化每台机器 ...
分类：
其他好文 时间：
2016-10-15 22:06:46
阅读次数：
209
一、实验目的
1. 现有Hadoop集群只有一个NameNode，现在要增加一个NameNode。
2. 两个NameNode构成HDFS Federation。
3. 不重启现有集群，不影响数据访问。
二、实验环境
4台CentOS release 6.4虚拟机，IP地址为
192.168.56.101 master
192.168.56.102 slave1
192.168...
分类：
其他好文 时间：
2016-05-06 12:17:55
阅读次数：
235
一、背景 天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可 用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MR ...
分类：
其他好文 时间：
2016-04-10 01:16:46
阅读次数：
257
