码迷,mamicode.com
首页 >  
搜索关键字:mr    ( 1325个结果
MR技术--信息分类方法
信息什么是信息?这还真没想过,想想也真不好说。反向思考一下,什么不是信息?仔细想了一下,这个也真没找着(哪位同学找到的告知俺一声)。所以总结了一下:大千世界,点点滴滴,均是信息。因此,信息自古就有,而且不少。现代社会之所以叫信息社会,并不是说信息有多爆炸,关键是信息渠道爆炸,其罪根祸首就是互联网的出...
分类:其他好文   时间:2015-02-23 13:07:24    阅读次数:128
那么NN、DN、JT、TT的问题来了。。。。
首先,今天是羊年初一。祝看到这篇博文的朋友们新春快乐!身体健康!心想事成!万事胜意! 言归正传。hadoop中的两大核心分别是HDFS以及MapReduce。HDFS分布式文件系统有NameNode、DataNode以及SecondaryNameNode三种节点进程,同时MR有JobTrack...
分类:其他好文   时间:2015-02-19 17:28:09    阅读次数:256
BFS解Magic Squares
Magic Squares IOI'96 Following the success of the magic cube, Mr. Rubik invented its planarversion, called magic squares. This is a sheet composed of 8 equal-sizedsquares: 1 2 3 4 8...
分类:其他好文   时间:2015-02-18 06:14:43    阅读次数:418
UVa 10509 - R U Kidding Mr. Feynman?
题目:函数的渐进解,利用式子f(x+dx)= f(x)+ f`(x)dx,求x+dx;             其中x为f(x)处理求解的整数解,反推dx = (f(x+dx)- f(x))/f`(x)。 分析:分治。这里f(x) = x^3,直接利用二分求解x的最近整数解,然后接dx = (n-a^3)/(3a^2);             整理求解x+dx即可。 说明:这里不能使用库...
分类:其他好文   时间:2015-02-16 22:10:33    阅读次数:170
学习的一个MapReduce程序(《beginner`s guide》中的例子)
第一个MR程序是实现关系型数据库中经常都会遇到的表连接操作,也就是join。这里是连接sales和accounts表,通过共同的ID列进行连接。同时统计出总的购买件数以及总的消费额。下面是两个示例数据,一个是sales.txt,另一个是accounts.txt。首先是sales.txt:001 .....
分类:其他好文   时间:2015-02-15 23:07:36    阅读次数:222
20150205-《我和抑郁谈恋爱》
《我和抑郁谈恋爱》内容简介:我将这些年面对抑郁的艰辛历程记录下来,除了希望鼓励别人, 也藉以鼓励将来的自己。 倘若将来再遇上Mr,Depression, 而“弹药”又短缺的话,我还有这《我和抑郁谈恋爱》,告诉自己;我曾努力过,也成功过。Lucia 笑与泪分享!与抑郁长达8年的"爱情长跑"。突如其来的...
分类:其他好文   时间:2015-02-13 06:54:40    阅读次数:125
More is better
Time Limit:1000MS Memory Limit:102400KB 64bit IO Format:%I64d & %I64Description Mr Wang wants some boys to help him with a project. Because the proje....
分类:其他好文   时间:2015-02-12 15:46:51    阅读次数:116
java项目中eclipse控制台输出log4j的信息
最近做的一个hadoop项目中,用MR实现了一个比较复杂的问题,其中的日志信息都是使用的是log4j来处理的。但不知怎么控制台不输出日志信息,只能输出System.out.println()信息,这个调试带了很多的麻烦再次记录一下,怎么在控制台输出日志信息。在debug模式中,选择Arguments...
分类:编程语言   时间:2015-02-11 10:47:48    阅读次数:219
hadoop中Combiner使用中需要注意的地方
今天在写一个MR的时候,用到了combiner。在使用过程中,遇到了一些问题,特此记录一下。Combiner分为两种,一种是可插拔的,一种是不可插拔的。可插拔的:Combiner和Reduce的处理逻辑是一样的,可以直接使用Reduce类进行处理。如果去掉Combiner,不影响结果。不可插拔:Co...
分类:其他好文   时间:2015-02-10 20:12:16    阅读次数:179
SVN备份/恢复脚本
上一篇介绍了svn的配置,这里就写了两个脚本对svn进行全备和恢复,由于是全备,所以可以做个计划任务,每天执行一次即可。保留几天的数据。1、备份脚本:#!/bin/sh # # #Description:SVNfullbackupoftheproject #Author:Mr.chen #Date:2015/02/10 #Email: # # SVN_BASICDIR="/u..
分类:其他好文   时间:2015-02-10 11:32:24    阅读次数:185
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!