码迷,mamicode.com
首页 >  
搜索关键字:mapreduce 过滤器    ( 9498个结果
Big Faceless Java Pdf报表生成器
ReportGenerator建立在PDF库之上,可将XML转换为PDF,是生成复杂、多页报表的绝佳方式。现在,您可使用JSP、ASP或类似技术来创建动态PDF报表,与HTML一样快速简便–它与时下的servlet引擎(如WebSphere或Tomcat)搭配效果极佳。正如我们的PDF库一样,ReportGenerator完全支持U..
分类:编程语言   时间:2014-05-27 03:12:28    阅读次数:229
Java实现的一个词频统计程序
Java实现的一个词频统计程序,考虑海量数据应该怎么做?MapReduce?!...
分类:编程语言   时间:2014-05-22 11:29:46    阅读次数:361
hadoop学习;datajoin;chain签名;combine()
hadoop有种简化机制来管理job和control的非线性作业之间的依赖,job对象时mapreduce的表现形式。job对象的实例化可通过传递一个jobconf对象到作业的构造函数中来实现。 x.addDeopendingJob(y)意味着x在y完成之前不会启动。 鉴于job对象存储着配置和依赖信息,jobcontrol对象会负责监管作业的执行,通过addjob(),你可以为jobcont...
分类:其他好文   时间:2014-05-22 07:27:41    阅读次数:287
hadoop多文件格式输入
版本:CDH5.0.0 (hdfs:2.3,mapreduce:2.3,yarn:2.3)hadoop多文件格式输入,一般可以使用MultipleInputs类指定不同的输入文件路径以及输入文件格式。比如现在有如下的需求:现有两份数据:phone:123,good number 124,common number 125,bad numberuser:zhangsan,123 lisi,124 w...
分类:其他好文   时间:2014-05-22 06:23:52    阅读次数:391
ASP.NET MVC学习之过滤器篇(2)
原文:ASP.NET MVC学习之过滤器篇(2)下面我们继续之前的ASP.NET MVC学习之过滤器篇(1)进行学习。3.动作过滤器顾名思义,这个过滤器就是在动作方法调用前与调用后响应的。我们可以在调用前更改实际调用的动作,也可以在动作调用完成之后更改最终返回的结果,当然很多人一定不太明白这个到底可...
分类:Web程序   时间:2014-05-22 01:26:31    阅读次数:401
MapReduce之浅析Map接口和Reduce接口
import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.ap...
分类:其他好文   时间:2014-05-22 01:11:55    阅读次数:337
ASP.NET MVC学习之过滤器篇(1)
原文:ASP.NET MVC学习之过滤器篇(1)一、前言继前面四篇ASP.NET MVC的随笔,我们继续向下学习。上一节我们学习了关于控制器的使用,本节我们将要学习如何使用过滤器控制用户访问页面。二、正文以下的示例建立在ASP.NET MVC 4之上(VS2012)1.授权过滤器只要涉及用户的网站,...
分类:Web程序   时间:2014-05-22 00:54:29    阅读次数:358
sprint.net(2) AOP面向切面编程,spring.net的环绕通知;Spring.net的AOP通知的四种类型
AOP 有点类似于我们MVC里面的Filter过滤器,例如在MVC里面,如果给一个Action上打一个标签,就可以在这个Action执行之前或者之后,额外的执行一个方法,这个就相当于是面向切面编程. 无侵入式的. (也就是在不改变原来的代码的情况下,来跳转到一个其他的方法,执行完毕后回到主方法..)...
分类:编程语言   时间:2014-05-21 22:45:38    阅读次数:323
MapReduce TopK统计加排序
Hadoop技术内幕中指出Top K算法有两步,一是统计词频,二是找出词频最高的前K个词。在网上找了很多MapReduce的Top K案例,这些案例都只有排序功能,所以自己写了个案例。这个案例分两个步骤,第一个是就是wordCount案例,二就是排序功能。一,统计词频 1 package TopK;...
分类:其他好文   时间:2014-05-21 22:29:14    阅读次数:599
记一则罕见的hive字段值异常引起map阶段的OOM
前段时间遇到了一个很诡异的发生的Map阶段的OOM异常,花了些时间才找到原因,这个简要记录一下。先看log。节点一的TaskTracker的log:节点二的TaskTracker的log:节点三的TaskTracker的log:其他节点的TaskTracker中的log都和slave4的一样的:故障分析:OOM是一个比较常见的故..
分类:其他好文   时间:2014-05-20 22:15:47    阅读次数:422
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!