其实就可以当作表达式的意思。 比如 可以当作一个表达式为每次加1,那个分号可看作等于。 还分为了filter, map, reduce ...
分类：
编程语言 时间：
2017-09-30 09:59:40
阅读次数：
142
Spark Streaming 是 Spark Core API 的扩展, 它支持弹性的, 高吞吐的, 容错的实时数据流的处理. 数据可以通过多种数据源获取, 例如 Kafka, Flume, Kinesis 以及 TCP sockets, 也可以通过例如 map, reduce, join, wi... ...
分类：
Web程序 时间：
2017-09-26 21:03:35
阅读次数：
248
目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等。 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和 ...
分类：
其他好文 时间：
2017-09-26 13:36:56
阅读次数：
182
概述 Spark Streaming 是 Spark Core API 的扩展, 它支持弹性的, 高吞吐的, 容错的实时数据流的处理. 数据可以通过多种数据源获取, 例如 Kafka, Flume, Kinesis 以及 TCP sockets, 也可以通过例如 map, reduce, join,... ...
分类：
Web程序 时间：
2017-09-21 18:02:24
阅读次数：
292
原创，转发请注明出处。 MapReduce是hadoop这只大象的核心，Hadoop 中，数据处理核心就是 MapReduce 程序设计模型。一个Map/Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方式处理它们。框架会对map的输出 ...
分类：
编程语言 时间：
2017-09-17 11:33:03
阅读次数：
257
-- 取出dic里面key的元素 只大写第一个字母，其余小写 其中用到 字符串 lower() capitalize() 函数 List 求和和求积函数 其中用到 reduce lambda表达式 --str转换float函数。 思路去掉小数点，转换成整数，然后除以小数点的位数。 ...
函数式编程就是封装成一个个函数，一次调用来完成复杂任务。 函数式编程的一个特点是，允许把函数本身作为参数传入另一个函数，还允许返回一个函数！ 高阶函数 高阶函数就是将函数的变量名作为参数传入，内部再对该函数进行调用的函数。 一个简单的高阶函数如下： Python内建了map()、reduce()、f ...
分类：
其他好文 时间：
2017-09-10 20:48:43
阅读次数：
182
1.map map()传入的第一个参数是f，即函数对象本身。 map()函数接收两个参数，一个是函数，一个是Interable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。 2.reduce reduce把一个函数作用在一个序列[x1, x2, x3, ...] ...
分类：
编程语言 时间：
2017-09-06 18:27:17
阅读次数：
153
'''python reduce()函数：reduce()函数会对参数序列中元素进行积累。函数将一个数据集合（链表，元组等）中的所有数据进行下列操作：用传给reduce中的函数 function（有两个参数）先对集合中的第 1、2 个元素进行操作，得到的结果再与第三个数据用 function 函数运 ...
分类：
编程语言 时间：
2017-09-04 16:04:48
阅读次数：
192
