码迷,mamicode.com
首页 >  
搜索关键字:reduce    ( 2830个结果
ViewHolder最简洁的写法
通用viewHolder工具类:public class ViewHolder { // I added a generic return type to reduce the casting noise in client code @SuppressWarnings("uncheck...
分类:其他好文   时间:2014-12-31 00:49:40    阅读次数:230
一道javascript算法面试题
实现一个数组内所有元素的和。 代码如下: function add(runningTotal, currentValue) { return runningTotal + currentValue; } var nums = [1,2,3,4,5,6,7,8,9,10,11]; var sum = nums.reduce(add); console.log(sum); // 显示55...
分类:编程语言   时间:2014-12-30 15:25:06    阅读次数:228
Python特殊语法:filter、map、reduce、lambda [转]
Python特殊语法:filter、map、reduce、lambda [转]Python内置了一些非常有趣但非常有用的函数,充分体现了Python的语言魅力!filter(function, sequence):对sequence中的item依次执行function(item),将执行结果为Tru...
分类:编程语言   时间:2014-12-29 18:14:37    阅读次数:200
Hadoop阅读笔记(二)——利用MapReduce求平均数和去重
继上篇《Hadoop阅读笔记(一)——强大的MapReduce》对MapReduce进行了理论的阐述,本篇通过WordCount加强版——求平均数以及WordCount阉割版——去重两个案例加深对于MapReduce的理解,了解了map过程、combine过程以及reduce过程,结合数据集完美呈现...
分类:其他好文   时间:2014-12-25 23:21:59    阅读次数:181
使用宏定义来减少JNI的繁琐
本篇文章由:http://www.sollyu.com/use-macro-definitions-to-reduce-tedious-jni/本篇文章由:http://www.sollyu.com/use-macro-definitions-to-reduce-tedious-jni/x的朋友,或...
分类:其他好文   时间:2014-12-25 12:45:12    阅读次数:167
利用BulkLoad导入Hbase表
1、插入HBase表传统方法具有什么问题?我们先看下HBase的写流程:通常MapReduce 在写HBase时使用的是TableOutputFormat方式,在map/reduce中直接生成put对象写入HBase,该方式在大量数据写入时效率低下,因为HBase会block写入,频繁进行flush、split、compact等大量IO操作,这..
分类:其他好文   时间:2014-12-25 06:44:40    阅读次数:223
maven打包hadoop项目(含第三方jar)
maven打包hadoop项目(含第三方jar)   问题背景: 1 写map-reduce程序,用到第三方jar,怎么打包并提交项目到服务器执行。 2 mahout中itembased算法,将uid从string映射为long。   我这里实现的具体功能是: Mahout的itembased算法的数据格式是:uid,vid,score。其中uid和vid必须是数字型(long),s...
分类:编程语言   时间:2014-12-25 01:29:52    阅读次数:305
学习Hadoop不错的系列文章
1)Hadoop学习总结 (1)HDFS简介 (2)HDFS读写过程解析 (3)Map-Reduce入门 (4)Map-Reduce的过程解析 (5)Hadoop的运行痕迹 (6)Apache Hadoop 版本2)Hadoop-0.20.0源代码分析 (1)Hadoop-0.20.0...
分类:其他好文   时间:2014-12-23 22:29:26    阅读次数:110
大数据时代之hadoop(五):hadoop 分布式计算框架(MapReduce)
hadoop的核心分为两块,一是分布式存储系统-hdfs,这个我已经在上一章节大致讲了一下,另一个就是hadoop的计算框架-mapreduce。 mapreduce其实就是一个移动式的基于key-value形式的分布式计算框架。 其计算分为两个阶段,map阶段和reduce阶段,都是对数据的处.....
分类:其他好文   时间:2014-12-22 10:40:34    阅读次数:238
数学之路-分布式计算-disco(4)
第一个参数iter是一个迭代器,涉及被map函数产生的键和值,它们是reduce实例。在本例中,单词随机被委托给不同的reduce实例,然后,要单词相同,处理它的reduce也相同,可确保最终合计是正确的。第二个参数params与map函数中一致,在此,仅简单使用disco.util.kvgroup()来提取每个单词统计计数,累计计数,yield(产生)结果。运行作业下面开始运行作业,可使用大量参...
分类:其他好文   时间:2014-12-19 00:41:47    阅读次数:274
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!