分布式系统的现状，难以区分一个响应慢的节点和一个死掉的节点，所有的rpc流程都是基于timeout机制，我们期望更少的超时时间，则意味着有更高的误判率，误判的情况下hbase容错性虽然很好，但总要付出一些数据恢复的代价。 故障恢复主要牵涉到的组件有zk，hmaster namenode。zk承担锁....
分类：
其他好文 时间：
2014-09-12 16:47:23
阅读次数：
414
Linux执行 Hadoop WordCount
ubuntu 终端进入快捷键 ：ctrl + Alt +t
hadoop启动命令：start-all.sh
正常执行效果如下：
hadoop@HADOOP:~$ start-all.sh
Warning: $HADOOP_HOME is deprecated.
starting namenode, logging to /h...
分类：
系统相关 时间：
2014-09-11 19:28:52
阅读次数：
355
今天在Pseudodistributed mode下启动HDFS
见配置http://blog.csdn.net/norriszhang/article/details/38659321
但是在试验向HDFS里拷贝文件时，发现出错，说没有找到namenode，用jps查看，有datanode和secondary namenode都启动起来了，但NameNode没有启动起来，用netst...
分类：
其他好文 时间：
2014-09-11 12:35:12
阅读次数：
174
在测试 HDFS2.0 的 NameNode HA 的时候，并发put 700M的文件，然后 Kill 主 NN ；发现备 NN 切换后进程退出。尝试了多种方法终于恢复，原因还在分析中。...
分类：
其他好文 时间：
2014-09-10 10:54:10
阅读次数：
490
为什么会引入RPC：RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。当我们讨论HDFS的，通信可能发生在：Client-NameNode之间，其中NameNode是服务器Client-DataNode之间，其中DataNode是服务器DataNode-NameNo...
分类：
其他好文 时间：
2014-09-09 19:43:49
阅读次数：
200
前言接触Hadoop有两年的时间了，期间遇到很多的问题，既有经典的NameNode和JobTracker内存溢出故障，也有HDFS存储小文件问题，既有任务调度问题，也有MapReduce性能问题.遇到的这些问题有些是Hadoop自身的缺陷（短板），有些则是使用的不当。在解决问题的过程中，有时需要翻源...
分类：
其他好文 时间：
2014-09-07 14:46:55
阅读次数：
449
Hadoop1的HDFS和Mapreduce在高可用和拓展性方面存在问题。 HDFS存在的问题： Namenode单点故障，难以应用于在线场景。 Namenode压力过大，且内存受限，影响系统扩展性。 Mapreduce存在问题： Jobtracker单点故障 ...
分类：
其他好文 时间：
2014-09-04 10:40:49
阅读次数：
254
一、安装环境agent:192.168.7.101hdfs:192.168.7.70(namenode)192.168.7.71(datanode)192.168.7.72(datanode)192.168.7.73(datanode)操作系统：CentOS6.3x86_64须用到的软件包:jdk-1.7.0_65-fcs.x86_64flume-ng-1.5.0flume-ng-agent-1.5.0hadoop-2.3.0+cdh5.1.0cat/etc/hosts19..
分类：
其他好文 时间：
2014-09-03 15:05:57
阅读次数：
252
今天在删除一个hive表的时候，发现hdfs的空间没有释放，刚开始一直觉得是自己删除有问题，结果在hdfs上也没有查到，最后发现是CDH的namenode有一个文件系统垃圾间隔设置，默认设置一天，也就是说删除的文件需要一天才能被删掉。配置如图，希望能帮助要有同样疑惑的人。还有这个..
分类：
其他好文 时间：
2014-09-03 02:48:26
阅读次数：
249
hadoop学习笔记之--完全分布模式安装 Hadoop完全分布式模式安装步骤 Hadoop模式介绍 单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途 伪分布模式：在单节点上同时启动namenode、datan...
分类：
其他好文 时间：
2014-09-02 20:02:55
阅读次数：
368
