三、使用Oozie定期自动执行ETL1. Oozie简介（1）Oozie是什么 Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠的工作流调度系统，其工作流作业是由一系列动作构成的有向无环图（DAGs），协调器作业是按时间频率周期性触发的Oozie工作流作业。Oozie支持的作业类型有Java map-reduce、Streaming map-reduce、Pig、 Hive...
分类：
其他好文 时间：
2016-07-11 17:14:40
阅读次数：
237
看这篇文章请出去跑两圈，然后泡一壶茶，边喝茶，边看，看完你就对hadoop整体有所了解了。Hadoop简介Hadoop就是一个实现了Google云计算系统的开源系统，包括并行计算模型Map/Reduce，分布式文件系统HDFS，以及分布式数据库Hbase，同时Hadoop的相关项目也很丰富，包括Zo ...
分类：
其他好文 时间：
2016-07-11 17:08:29
阅读次数：
150
1.1高阶函数变量可指向函数>>>abs(-10)10>>>x=abs--x指向abs函数>>>x(-1)--直接调用x1调用abs和调用x完全相同。函数名也是变量>>>abs=10>>>abs(-10)Traceback(mostrecentcalllast):File"<stdin>",line1,in<module>Ty..
分类：
编程语言 时间：
2016-07-11 01:16:39
阅读次数：
203
一、MapReduce编程模型1. 中心思想： 分而治之2. map(映射)3. 分布式计算模型，处理海量数据4. 一个简单的MR程序需要制定map()、reduce()、input、output5. 处理的数据放在input中、处理的结果放在output中6. MR程序>八股文7. MR在处理数据 ...
分类：
其他好文 时间：
2016-07-10 23:04:48
阅读次数：
110
map： reduce: filter: sort: reverse: concat: split: join: ...
分类：
编程语言 时间：
2016-07-09 10:40:42
阅读次数：
144
首先，简单介绍下k-means聚类：效果简单有效，易于map—reduce化 算法思路：1、选择k个点作为原始的质心（k如何定） 2、将每个点指派到最近的质心，形成k个簇 3、重新计算每个簇的质心（x,y坐标的均值）--[新的质心不一定为样本点哦] 4、迭代2、3步直到簇心收敛于某一个阈值 优缺点： ...
分类：
其他好文 时间：
2016-07-06 20:19:22
阅读次数：
263
MapReduce理论 1 概述 Hadoop Map/Reduce是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个Map/Reduce作业(job)通常会把输入的数据集切分为若干独立的数据块，由map... ...
分类：
其他好文 时间：
2016-07-03 14:26:49
阅读次数：
188
用php写了简单map reduce程序，使用cat test.txt | php mapper.php | php reducer.php 测试过脚本没有问题，然而使用hadoop时就总是jobs fail。 因此得出结论是在上传脚本到hadoop服务器上执行时的命令输入错误。以下总结两个易错点：... ...
分类：
Web程序 时间：
2016-07-02 21:26:30
阅读次数：
164
原型：map(function,sequence)，作用是将一个列表映射到另一个列表map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。deff(x):y=x*xreturnyr=map(f,range(10))print(r)print(list(r))print(list(ma..
分类：
其他好文 时间：
2016-06-30 23:46:53
阅读次数：
243
引言 大数据查询分析是云计算中核心问题之一，自从Google在2006年之前的几篇论文奠定云计算领域基础，尤其是GFS、Map-Reduce、Bigtable被称为云计算底层技术三大基石。GFS、Map-Reduce技术直接支持了Apache Hadoop项目的诞生。Bigtable和Amazon ...
分类：
其他好文 时间：
2016-06-28 18:17:12
阅读次数：
203
