一、基本概念 在MapReduce中，一个准备提交执行的应用程序称为“作业（job）”，而从一个作业划分出的运行于各个计算节点的工作单元称为“任务（task）”。此外，Hadoop提供的分布式文件系统（HDFS）主要负责各个节点的数据存储，并实现了高吞吐率的数据读写。 在分布式存储和分布式计算方.....
分类：
其他好文 时间：
2015-07-26 15:24:26
阅读次数：
3309
Linux环境：CentOs6.4Hadoop版本：Hadoop-1.1.2master: 192.168.1.241 NameNode JobTracker DataNode TaskTrackerslave:192.168.1.242 DataNode TaskTracker内容：设置DataN...
分类：
其他好文 时间：
2015-07-14 15:25:29
阅读次数：
147
主从结构 主节点：JobTracker（一个） 从节点：TaskTrackers（多个）JbkTracker： 接收客户提交的计算人物 把计算任务分配给TaskTrackers执行 监控TaskTracker执行情况TaskTrackers： 执行JobTracker分配的计算任务
分类：
其他好文 时间：
2015-07-05 07:06:54
阅读次数：
116
MRv1缺点1、JobTracker容易存在单点故障2、JobTracker负担重，既要负责资源管理，又要进行作业调度；当需处理太多任务时，会造成过多的资源消耗。3、当mapreduce job非常多的时候，会造成很大的内存开销，在
TaskTracker端，以mapreduce task的数目作为资源的表示过于简单，没有考虑到cpu以及内存的占用情况，如果两个大内存消耗的task被调度到了一块，...
分类：
其他好文 时间：
2015-06-23 23:12:30
阅读次数：
2933
1. MapReduce架构： 各个角色的功能： 2. MapReduce——容错性： JobTracker 单点故障，一旦出现故障，整个集群不可用 TaskTracker 周期性向JobTracker汇报心跳 一旦出现故障，上面所有任务将被调度到其他节点上 MapTask/ReduceTask 运...
分类：
其他好文 时间：
2015-06-12 20:48:18
阅读次数：
173
上一篇文章——Hadoop2.6.0集群部署中，我们可以看到，Hadoop集群启动后的服务情况：[hadoop@iZ94cjwg86gZ~]$jps
27888SecondaryNameNode
27688NameNode
28430Jps
28044ResourceManager
31596JobHistoryServer如果你已经搜索过Hadoop了，或者听说过mapreduce，可能网上资料更多..
分类：
编程语言 时间：
2015-06-12 15:11:33
阅读次数：
213
错误处理出现错误主要有以下三种：
1、Task任务
2、JobTracker失败
3、TaskTracker失败Task任务1、当map或者reduce子任务中的代码抛出异常，JVM进程会在退出之前向服务tasktracker进程发送错误报告，tasktracker会将此（任务尝试）taskattempt标记为failed状态，释放一个槽以便运行另外一个任务。2、对于流任务，如果流进程以非零退...
分类：
其他好文 时间：
2015-06-10 17:23:33
阅读次数：
778
什么是RPC?1、RPC(Remote Procedure Call）远程过程调用，它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。经常用于分布式网络通信中。
2、Hadoop的进程间交互都是通过RPC来进行的，比如Namenode与Datanode之间，Jobtracker与Tasktracker之间等。RPC协议假定某些传输协议的存在，如...
分类：
其他好文 时间：
2015-06-08 21:37:20
阅读次数：
169
1.hadoop的分布式安装过程
1.1 分布结构
主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode
从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker
1.2 各节点重新产生ssh加...
分类：
其他好文 时间：
2015-06-03 23:32:38
阅读次数：
151
日志格式：日志名称解析：Hadoop启停的三种方式：、停止后面的以此类推......另外hadoop-daemons.sh表示启动多个，比如datanode跟tasktracker在真实环境都会有多个附：
分类：
其他好文 时间：
2015-05-27 22:34:29
阅读次数：
163
