环境：OS：Centos 6.5 x64 & Soft：Hadoop
1.2.11、查看当前块大小，默认64M。[huser@master hadoop-1.2.1]$ bin/hadoop fs -stat "%o"
./in/test1.txt671088642、修改hdfs-site.conf...
分类：
其他好文 时间：
2014-05-06 08:59:21
阅读次数：
368
namenode 和 secondaryNamenode
运行在同一机器上，分离配置到新节点上。环境：OS：Centos 6.5 x64 & Soft：Hadoop
1.2.1master中的配置不是决定谁是namenode，而是决定谁是secondarynamenode。决定谁是namenode的...
分类：
其他好文 时间：
2014-05-06 01:08:13
阅读次数：
388
Hadoop集群实施成功后，再次格式化名称节点。环境：OS：Centos 6.5 x64 &
Soft：Hadoop 1.2.11、格式化之前hadoop集群正常。[huser@master hadoop-1.2.1]$ jps7927
SecondaryNameNode7773 NameNode8...
分类：
其他好文 时间：
2014-05-06 00:52:59
阅读次数：
491
控制namenode检查点发生的频率。环境：OS：Centos 6.5 x64 &
Soft：Hadoop 1.2.11、修改core-site.xml，设置参数。 fs.checkpoint.period
1802、重启集群，查看namenode下文件更新频率，每隔180秒更新一次。[huser@...
分类：
其他好文 时间：
2014-05-06 00:26:48
阅读次数：
429
centos 配置hadoop 2.2. 非常全面...
分类：
其他好文 时间：
2014-05-03 16:39:17
阅读次数：
369
本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Reduce，在Hadoop中用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单..
分类：
其他好文 时间：
2014-05-03 01:53:48
阅读次数：
519
本文在上一节的基础上通过一个简单的MR示例对MapReduce的运行流程进行分析。假设有两行数据，分别是helloyou，hellome,我们要统计其中出现的单词以及每个单词出现的次数。所得的结果为hello2you1me1(1)大致运行流畅1.解析成2个<k,v>，分别是<0,helloyou><10,hel..
分类：
其他好文 时间：
2014-05-03 01:51:40
阅读次数：
382
Lease 的机制：hdfs支持write-once-read-many，也就是说不支持并行写，那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease，对应到namenode中的LeaseManager，客户端的client name就作为一个lease的holder，即租约持有者。LeaseManager起什么作用呢？
读写过程的容错是怎么做的？数据块是如何复制的？数据块的恢复机制？本文都有涉及。...
分类：
其他好文 时间：
2014-05-02 23:22:14
阅读次数：
450
在Ubuntu14.04下使用Hadoop2.4进行大数据开发之基础环境准备篇...
分类：
其他好文 时间：
2014-05-02 19:56:21
阅读次数：
367
模拟namenode崩溃，将name目录的内容全部删除，然后通过secondary
namenode恢复namenode。环境：OS：Centos 6.5 x64 & Soft：Hadoop
1.2.11、进入name目录下，删除name目录内容。[huser@master name]$ pwd/h...
分类：
其他好文 时间：
2014-05-02 14:44:28
阅读次数：
517
