本文约定：DN: DataNodeTT: TaskTrackerNN: NameNodeSNN: Secondry NameNodeJT: JobTracker本文介绍Hadoop各节点和Client之间通信协议。Hadoop的通信是建立在RPC的基础上，关于RPC的详解介绍大家可以参照"hadoo...
分类：
其他好文 时间：
2015-05-06 22:51:00
阅读次数：
188
Hadoop中MapReduce 的执行也是采用Master/Slave 主从结构的方式。其中JobTracker 充当了Master的角色，而TaskTracker 充当了Slave 的角色。Master负责接受客户端提交的Job，然后调度Job的每一个子任务Task运行于Slave上，并监控.....
分类：
其他好文 时间：
2015-05-06 22:39:19
阅读次数：
207
本文约定：DN: DataNodeTT: TaskTrackerNN: NameNodeSNN: Secondry NameNodeJT: JobTracker本文介绍Hadoop各节点和Client之间通信协议。Hadoop的通信是建立在RPC的基础上，关于RPC的详解介绍大家可以参照"hadoo...
分类：
其他好文 时间：
2015-05-06 20:54:58
阅读次数：
109
一. MapReduce 作业处理过程概述 当用户在使用Hadoop 的 MapReduce 计算模型处理问题的时候，只需要设计好Mapper 和Reducer 处理函数，还有可能包括Combiner 函数。之后，新建一个Job 对象，并对Job 的运行环境进行一些配置，最后调用Job 的waitF...
分类：
其他好文 时间：
2015-05-06 17:25:42
阅读次数：
131
MapReduce 是一个计算模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于Key/Value pair 的数据集合，输出中间的基于Key/Value pair的数据集合，然后再创建一个Reduce 函数用来合并所有的具有相同中间Key值的中间Valu...
分类：
其他好文 时间：
2015-05-06 12:23:35
阅读次数：
145
Hadoop 中的MapReduce库支持几种不同格式的输入数据。例如，文本模式的输入数据的每一行被视为一个key/value pair,其中key为文件的偏移量，value为那一行的内容。每一种输入类型的实现都必须能够把输入数据分割成数据片段，并能够由单独的Map任务来对数据片段进行后续处理。一....
分类：
其他好文 时间：
2015-05-05 23:24:26
阅读次数：
197
网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou/p/4458219.html网站日志分析项目案例（三）统计分析：...
分类：
Web程序 时间：
2015-04-29 07:05:09
阅读次数：
195
网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou/p/4458219.html一、数据情况分析1.1 数据情况回顾...
分类：
Web程序 时间：
2015-04-26 21:11:50
阅读次数：
202
一、项目背景与数据情况1.1 项目来源 本次要实践的数据日志来源于国内某知名的技术学习论坛，该论坛由某培训学校主办，汇聚了众多技术学习者，每天都有人发帖、回帖，如图1所示。图1 项目来源网站-技术学习论坛 本次实践的目的就在于通过对该技术论坛的apache common日志进行分析，计算该论坛的.....
分类：
Web程序 时间：
2015-04-23 01:59:45
阅读次数：
216
Hadoop学习笔记0004——eclipse安装hadoop插件
1、下载hadoop-1.2.1.tar.gz，解压到win7下hadoop-1.2.1；
2、如果hadoop-1.2.1中没有hadoop-eclipse-plugin-1.2.1.jar包，就到网上下载下来；
3、关闭eclipse，然后将hadoop-eclipse-plugin-1.2.1.jar拷...
分类：
系统相关 时间：
2015-04-22 15:24:46
阅读次数：
224
