I am using eclipse to export the jar file of a map-reduce program. When i am run the jar using command hadoop jar hadoop-prog.jar WordCount /home/temp...
分类：
编程语言 时间：
2014-12-17 14:31:34
阅读次数：
201
ECMAScript 5 定义了9个新的数组方法,分别为:1.forEach(); 2.map(); 3.filter(); 4.every(); 5.some(); 6.reduce(); 7.reduceRight(); 8.indexOf(); 9.lastIndexOf();概述:首先,大多...
分类：
其他好文 时间：
2014-12-16 23:59:25
阅读次数：
440
https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/Array/Reducevar ss = [0, 1, 2, 3, 4].reduce(function (previousValue, ...
分类：
其他好文 时间：
2014-12-16 18:33:46
阅读次数：
139
python函数记录
map() 接收一个函数和一个序列，然后保留函数返回的结果的序列
reduce() 接收一个函数和一个序列 函数结果为一个值，运算过程就是从序列的第一个值开始传给函数，返回结果再次传入函数，直到最后得到一个结果。
filter() 过滤函数 接收一个函数和一个序列 然后函数返回true和false，保留序列中的返回true的。
def is_odd(n):
r...
分类：
编程语言 时间：
2014-12-15 23:41:17
阅读次数：
349
KNN k临近算法遍历所有训练样本，求距离最近的点的结论，作为最后的预测结果MR版：map求样本距离（key：样本，value：距离），combine求的最小值，是过滤功能，reduce就有一个求得距离最小值贝叶斯：贝叶斯定理公式：P(A|B)=P(B|A)*P(A)/P(B)贝叶斯将在属性条件下的...
分类：
其他好文 时间：
2014-12-15 10:21:20
阅读次数：
121
1、下载hadoop-eclipse-plugin-1.2.1.jar，并将之复制到eclipse/plugins下。
2、打开map-reduce视图
在eclipse中，打开window——>open perspetive——>other，选择map/reduce。
3、选择Map/Reduce Locations标签页，新建一个Location
4、在...
分类：
系统相关 时间：
2014-12-14 12:01:59
阅读次数：
337
Hive自定义函数UDAF开发
Hive支持自定义函数，UDAF是接受多行,输出一行。
通常是group by时用到这种函数。
其实最好的学习资料就是官方自带的examples了。
我这里用的是0.10版本hive，所以对于的examples在
https://github.com/apache/hive/tree/branch-0.10/contri...
分类：
其他好文 时间：
2014-12-14 00:46:21
阅读次数：
202
本篇是大数据系列的开局篇，主要介绍了Hadoop家族，HDFS和MapReduce的概念；通过以“专利数据集”为测试对象，编写MapReduce Demo，了解Hadoop MapReduce的内部运行机制以及Map和Reduce的输入输出键值对如何生成与相互关联等。
分类：
其他好文 时间：
2014-12-13 17:43:37
阅读次数：
355
前言 对于Hadoop集群来说，节点损坏是非常常见的现象。 而Hadoop一个很大的特点就是某个节点的损坏，不会影响到整个分布式任务的运行。 下面就来分析Hadoop平台是如何做到的。硬件故障 硬件故障可以分为两种 - JobTracker节点损坏和TaskTracker节点损坏。 1.J...
分类：
其他好文 时间：
2014-12-12 23:30:07
阅读次数：
276
MapReduce模型可分为单Reduce模式、多Reduce模式以及无Reduce模式，对于不同复杂度的指数产品生产算法，应根据需求选择不同的MapReduce计算模式。...
分类：
编程语言 时间：
2014-12-12 22:18:32
阅读次数：
279
