map() 首先来看一看map()函数，map函数接受两个参数，第一个参数是算法，第二个参数是具体数值(注意，数值必须为可迭代的)。即map(fun,iterable) map函数就是将具体数值根据算法进行计算，并将结果保存为一个迭代器。我们知道，迭代器很'懒'，通过调用next函数一次只输出一个值 ...
分类：
编程语言 时间：
2016-05-27 21:35:30
阅读次数：
164
1.列表 list[起始:结尾:增量] 值传递与地址传递 2.排序sort() 3.匿名函数lambda 4....for ... in ... if ... 5.filter map reduce filter(function, sequence)：对sequence中的item依次执行func ...
分类：
编程语言 时间：
2016-05-16 10:55:05
阅读次数：
220
python 中内置的几个函数filter, map, reduce, lambda简单的例子。 结果为： ...
分类：
编程语言 时间：
2016-05-15 22:52:27
阅读次数：
699
Hadoop以前是，现在仍然是大数据批处理领域的王者。Hadoop逐渐完善的生态体系，也让Hadoop广泛应用于各行业。本文首先介绍Hadoop的架构和原理，侧重于Map-Reduce计算部分。再以简单示例带大家入门。一、Hadoop介绍Hadoop是什么Hadoop是一个开发和运行大规模数据分析程序的软件..
分类：
其他好文 时间：
2016-05-14 01:19:57
阅读次数：
681
lambda 函数：lambda语句中，冒号前是参数，可以有多个，用逗号隔开，冒号右边的返回值 1. map/reduce 函数 （1）map()函数接收两个参数，一个是函数，一个是序列，map将传入的函数依次作用到序列的每个元素，并把结果作为新的list返回 （2）reduce()函数接收两个参数 ...
分类：
编程语言 时间：
2016-05-13 09:31:59
阅读次数：
184
这一段，主要是 Spark 的基本概念，以及Anaconda的基本组成。
数据密集型应用利用可扩展的分布处理框架在大规模商业集群上分析PB级的数据. Hadoop 是第一个map-reduce的开源实现. Hadoop 依赖的分布式存储框架叫做 HDFS......Spark 是一个面向大规模数据处理的快速、分布式、通用的分析计算引擎. 主要不同于Hadoop的特点在于........
分类：
编程语言 时间：
2016-05-12 17:50:42
阅读次数：
245
1.async_demo完成
(
Async是一个流程控制工具包，提供了直接而强大的异步功能。基于Javascript为Node.js设计，同时也可以直接在浏览器中使用。
Async提供了大约20个函数，包括常用的 map, reduce, filter, forEach 等，异步流程控制模式包括，串行(series)，并行(parallel)，瀑布(waterfall)等。
)
基本上...
分类：
其他好文 时间：
2016-05-12 16:36:20
阅读次数：
128
Swift
提供了很多方便的函数来操作数组，比如 filter,map,reduce，flatMap 等.今天我们了解一下 filter ，顾名思义
就是用来过滤的，这是
Swift 为每个数组提供的一个新式武器，filter用于选择数组元素中满足某种条件的元素。
假设有一个数组，接着想要创建一个新的数组，新数组包含原数组中所有大于20的元素，我们可以使用下面的for循环：
l...
分类：
编程语言 时间：
2016-05-12 14:05:22
阅读次数：
1529
说明
在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起，这样才能够达到目的。在Hadoop生态圈中，Oozie它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中，从而完成更大型的任务。
原理
Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat——中，并使用数据库来存储以下内容：
工作流定义
当前运行...
分类：
其他好文 时间：
2016-05-12 12:26:41
阅读次数：
177
MR程序的执行环境有两种：本地测试环境、服务器环境。
1、本地环境执行MR程序的步骤：
（1）在windows下配置hadoop的环境变量
（2）拷贝debug工具(winutils)到HADOOP_HOME/bin
（3）从源码中拷贝org.apache.hadoop.io.nativeio.NativeIO.java到我们的mr的src目录下...
分类：
其他好文 时间：
2016-05-12 12:06:48
阅读次数：
373
