本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Reduce，在Hadoop中用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单..
分类：
其他好文 时间：
2014-05-03 01:53:48
阅读次数：
519
本文在上一节的基础上通过一个简单的MR示例对MapReduce的运行流程进行分析。假设有两行数据，分别是helloyou，hellome,我们要统计其中出现的单词以及每个单词出现的次数。所得的结果为hello2you1me1(1)大致运行流畅1.解析成2个<k,v>，分别是<0,helloyou><10,hel..
分类：
其他好文 时间：
2014-05-03 01:51:40
阅读次数：
382
本文以康哥的博客为基础进行修改和补充，详见：http://kangfoo.github.io/article/2014/01/hadoop1.x-wordcount-fen-xi/hadoop
mapreduce 过程粗略的分为两个阶段： 1.map; 2.redurce(copy, sor...
分类：
其他好文 时间：
2014-05-02 00:06:57
阅读次数：
553
一、Hadoop概述
hadoop由两部分组成，分别是分布式文件系统和分布式计算框架MapReduce。其中，分布式文件系统主要用于大规模数据的分布式存储，而MapReduce 则构建在分布式文件系
统之上，对存储在分布式文件系统中的数据进行分布式计算。
2、在Hadoop 中，MapReduce 底层的分布式文件系统是独立模块，用户可按照约定的一套接口实现自己的分布式文件系统，然后经过简单...
分类：
其他好文 时间：
2014-05-01 18:34:41
阅读次数：
382
在使用struts之前，我们必须了解servlet的运行，因为任何一个J2EE框架都是支持servlet的。
而servlet的执行过程，简单的说如下：
1.服务器接收请求
2.经过一个过滤器链对请求进行处理
3.调用serlvet的doget或dopost方法
4.过滤器链对应答进行处理
6.返回用户
而过滤器和servlet，我们都可以在web.xml中进行配置。
那么，现在主...
分类：
其他好文 时间：
2014-05-01 18:01:37
阅读次数：
287
本文主要针对广告检索领域的查询重写应用，根据查询-广告点击二部图，在MapReduce框架上实现SimRank++算法，关于SimRank++算法的背景和原理请参看前一篇文章《基于MapReduce的SimRank++算法研究与实现》。
SimRank++的矩阵形式的计算公式为：
算法主要步骤如下：
Step1: 计算权值矩阵，并获取最大Query编号和最大广告编号；
Step2:...
分类：
其他好文 时间：
2014-05-01 08:21:53
阅读次数：
527
点登录的时候，在url后面总会加上一个;jsessionid=xxx 使找不到页面 的404
Bug ，百思不得其解，最后终于找到解决方案，实验最终成功解决了这个bug，下面是解决方案1，增加依赖 org.tuckey urlrewritefilter
4.0.3 2，在web.xml中配置过滤器....
分类：
其他好文 时间：
2014-05-01 07:22:26
阅读次数：
407
MapReduce--Logistic Regression...
分类：
其他好文 时间：
2014-04-30 22:37:39
阅读次数：
830
javaScript 关于Windows
1 Windows 对象
所有浏览器都支持 window 对象。它表示浏览器窗口。
所有 JavaScript 全局对象、函数以及变量均自动成为 window 对象的成员。
全局变量是 window 对象的属性。
全局函数是 window 对象的方法。
window.document.getElementById("header");
2...
分类：
编程语言 时间：
2014-04-30 22:27:39
阅读次数：
499
一、简介
1、MapReduce 应用广泛的原因之一在于它的易用性。它提供了一个因高度抽象化而变得异常简单的编程模型。
2、从MapReduce 自身的命名特点可以看出，MapReduce 由两个阶段组成：Map 和Reduce 。用户只需编写map ( ) 和reduce( ) 两个函数，即可完成简单的分布式程序的设计。
1）m a p ( ) 函数以key/value 对作为输入，产...
分类：
其他好文 时间：
2014-04-30 22:23:39
阅读次数：
466
