Python特殊语法：filter、map、reduce、lambda [转]Python内置了一些非常有趣但非常有用的函数，充分体现了Python的语言魅力！filter(function, sequence)：对sequence中的item依次执行function(item)，将执行结果为Tru...
分类：
编程语言 时间：
2014-12-29 18:14:37
阅读次数：
200
1、插入HBase表传统方法具有什么问题？我们先看下HBase的写流程：通常MapReduce
在写HBase时使用的是TableOutputFormat方式，在map/reduce中直接生成put对象写入HBase，该方式在大量数据写入时效率低下，因为HBase会block写入，频繁进行flush、split、compact等大量IO操作，这..
分类：
其他好文 时间：
2014-12-25 06:44:40
阅读次数：
223
maven打包hadoop项目（含第三方jar）
问题背景：
1 写map-reduce程序，用到第三方jar，怎么打包并提交项目到服务器执行。
2 mahout中itembased算法，将uid从string映射为long。
我这里实现的具体功能是：
Mahout的itembased算法的数据格式是：uid,vid,score。其中uid和vid必须是数字型（long），s...
分类：
编程语言 时间：
2014-12-25 01:29:52
阅读次数：
305
1）Hadoop学习总结 （1）HDFS简介 （2）HDFS读写过程解析 （3）Map-Reduce入门 （4）Map-Reduce的过程解析 （5）Hadoop的运行痕迹 （6）Apache Hadoop 版本2）Hadoop-0.20.0源代码分析 （1）Hadoop-0.20.0...
分类：
其他好文 时间：
2014-12-23 22:29:26
阅读次数：
110
I am using eclipse to export the jar file of a map-reduce program. When i am run the jar using command hadoop jar hadoop-prog.jar WordCount /home/temp...
分类：
编程语言 时间：
2014-12-17 14:31:34
阅读次数：
201
1、下载hadoop-eclipse-plugin-1.2.1.jar，并将之复制到eclipse/plugins下。
2、打开map-reduce视图
在eclipse中，打开window——>open perspetive——>other，选择map/reduce。
3、选择Map/Reduce Locations标签页，新建一个Location
4、在...
分类：
系统相关 时间：
2014-12-14 12:01:59
阅读次数：
337
Hive自定义函数UDAF开发
Hive支持自定义函数，UDAF是接受多行,输出一行。
通常是group by时用到这种函数。
其实最好的学习资料就是官方自带的examples了。
我这里用的是0.10版本hive，所以对于的examples在
https://github.com/apache/hive/tree/branch-0.10/contri...
分类：
其他好文 时间：
2014-12-14 00:46:21
阅读次数：
202
前言 对于Hadoop集群来说，节点损坏是非常常见的现象。 而Hadoop一个很大的特点就是某个节点的损坏，不会影响到整个分布式任务的运行。 下面就来分析Hadoop平台是如何做到的。硬件故障 硬件故障可以分为两种 - JobTracker节点损坏和TaskTracker节点损坏。 1.J...
分类：
其他好文 时间：
2014-12-12 23:30:07
阅读次数：
276
前言 在MapReduce程序中，待处理的数据最开始是放在HDFS上的，这点无异议。 接下来，数据被会被送往一个个Map节点中去，这也无异议。 下面问题来了：数据在被Map节点处理完后，再何去何从呢？ 这就是本文探讨的话题。Shuffle 在Map进行完计算后，将会让数据经过一个名为Shu...
分类：
其他好文 时间：
2014-12-12 22:10:49
阅读次数：
284
前言 从运行我们的 Map/Reduce 程序，到结果的提交，Hadoop 平台其实做了很多事情。 那么 Hadoop 平台到底做了什么事情，让 Map/Reduce 程序可以如此 "轻易" 地实现分布式运行？Map/Reduce 任务执行总流程 经过之前的学习，我们已经知道一个 Map/Re...
分类：
其他好文 时间：
2014-12-12 20:51:29
阅读次数：
149
