（1）Apache Oozie是什么？
Oozie在英语中的释义指的是：驯象人，驭象者（多指缅甸那边的俗称），这个比喻相对与它的功能来说，还是很恰当的。
Apache Oozie是一个用来管理Hadoop任务的工作流调度系统，是基于有向无环图的模型（DAG）。Oozie支持大多数的Hadoop任务的组合，常见的有Java MapReduce，Streaming map-reduce...
分类：
Web程序 时间：
2015-05-19 16:39:04
阅读次数：
140
Java大课堂：常用数据结构一
背景
在计算机科学的学习中，数据结构是个绕不开的问题。那么我将在接下来的时间，简明扼要的介绍常见数据结构以及部分源码。下面我将简单介绍本大课堂涉及到的内容。
众所周知，一款好用的数据结构，不仅包括数据结构的实现，还有相关工具集。比如c++中stl有大量的工具函数，比如sort，accumulate，reduce，for_each,remove_if,cou...
分类：
编程语言 时间：
2015-05-19 16:34:41
阅读次数：
133
Job端的变化：通过设置conf，配置输出表，在reduce中获取输出表名字Configuration conf = job.getConfiguration();//输出表1conf.set("usertag_output", "usertag");//输出表2conf.set("prodtag_...
分类：
其他好文 时间：
2015-05-19 12:47:46
阅读次数：
222
1. 概述。本文主要介绍了mapreduce框架上如何实现两表JOIN。2. 常见的join方法介绍假设要进行join的数据分别来自File1和File2.2.1 reduce side joinreduce side join是一种最简单的join方式，其主要思想如下：在map阶段，map函数同时...
分类：
数据库 时间：
2015-05-18 18:11:23
阅读次数：
197
下面遇到问题，提供了一些解决办法，希望有所帮助 1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out? 这是reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限造成的，上限默认...
分类：
其他好文 时间：
2015-05-16 12:06:14
阅读次数：
139
Python内置了一些非常有趣但非常有用的函数，充分体现了Python的语言魅力！[1] filter(function, sequence)对sequence中的item依次执行function(item)，将执行结果为True的item组成一个List/String/Tuple（取决于sequence的类型）返回：>>> def f(x): return x % 2 != 0 and x % 3...
分类：
编程语言 时间：
2015-05-15 12:09:36
阅读次数：
146
1.Map-Reduce编程模型以气象数据分析为例。数据中每一行就是一个时间点采集的温度信息，现在要分析一年中的最高温度。Mapper思想：Map-reduce的思想就是“分而治之”Mapper负责“分”，即把复杂的任务分解为若干个“简单的任务”执行“简单的任务”有几个含义：1数据或计算规模..
分类：
其他好文 时间：
2015-05-14 06:23:55
阅读次数：
198
1.Map-Reduce编程模型以气象数据分析为例。数据中每一行就是一个时间点采集的温度信息，现在要分析一年中的最高温度。Mapper思想：
分类：
其他好文 时间：
2015-05-14 06:19:39
阅读次数：
121
此脚本运行速度慢，主要是reduce端数据倾斜导致的，了解到dw.fct_traffic_navpage_path_detl表是用来收集用户点击数据的，那么最终购物车和下单的点击肯定极少，所以此表ordr_code字段为空和cart_prod_id字段为NULL的数据量极大，如下所示：selectordr_code,count(*)asafromdw...
分类：
数据库 时间：
2015-05-13 17:09:42
阅读次数：
205
let toBigInt (n: int) = bigint(n)let fac n = [1..n] |> List.map toBigInt |> List.reduce (*)
分类：
其他好文 时间：
2015-05-13 12:26:28
阅读次数：
103
