1、函数式编程 1.1 高阶函数 把函数作为参数传入，这样的函数称为高阶函数，函数式编程就是指这种高度抽象的编程范式 函数名也是变量，函数名其实就是指向函数的变量！对于abs()这个函数，完全可以把函数名abs看成变量，它指向一个可以计算绝对值的函数 1.2 map/reduce 1.2.1 map ...
分类：
编程语言 时间：
2019-10-05 00:43:45
阅读次数：
88
Python函数式编程——map()、reduce() 更多12 提起map和reduce想必大家并不陌生，Google公司2003年提出了一个名为MapReduce的编程模型[1]，用于处理大规模海量数据，并在之后广泛的应用于Google的各项应用中，2006年Apache的Hadoop项目[2] ...
分类：
编程语言 时间：
2019-09-26 11:19:30
阅读次数：
74
简介 流：（可以将它与集合结合一起学习） 1、元素序列——访问特定元素序列的一组有序值；流的目的在于表达计算。（集合主要目的是存储和访问） 2、源——刘辉使用一个提供数据的源，可以是集合、数组等。 3、数据处理操作——存在大量数据处理的函数，如filter、map、reduce等。流可以顺序或并行执 ...
分类：
其他好文 时间：
2019-09-26 00:16:24
阅读次数：
106
Map Reduce是一个计算框架。Map函数发送到所有含有涉及数据的节点上运行，而Reduce之运行在多台主机上用作收集map结果用，reduce数量取决于reduce收集函数分了几个组，只在几个几个节点上运行。 shuffle机制：分组排序 MapReduce执行过程 map进程数量基于切片思想 ...
分类：
其他好文 时间：
2019-08-26 00:15:36
阅读次数：
87
Scala编程实战 1. 课程目标 1.1. 目标：使用Akka实现一个简易版的spark通信框架 2. 项目概述 2.1. 需求 Hivesql > select count(*) from user >整个表只有1条数据 Map 0% reduce 0% Map 10% reduce 0% Ma ...
分类：
其他好文 时间：
2019-08-22 00:59:40
阅读次数：
82
Python内建了map()和reduce()函数. map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。 Output: reduce把一个函数作用在一个序列[x1, x2, x3, ...]上，这个函数 ...
分类：
编程语言 时间：
2019-08-19 13:03:32
阅读次数：
95
# map可以用于对可遍历结构的每个元素执行同样的操作，批量操作： map(lambda x: x**2, [1, 2, 3, 4]) # [1, 4, 9, 16] map(lambda x, y: x + y, [1, 2, 3], [5, 6, 7]) # [6, 8, 10] # 在Pyth... ...
分类：
其他好文 时间：
2019-08-15 22:38:03
阅读次数：
110
1.高阶函数（map/reduce/filter） 高阶函数是指函数的参数可以是函数 这篇总结几个常用的高阶函数：map/reduce/filter map函数、reduce函数、filter函数都是Python中的内建函数。 map函数 map函数的作用是将一个函数作用于一个序列的每一个元素，一行 ...
分类：
编程语言 时间：
2019-08-10 21:11:13
阅读次数：
97
1. Phoenix Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据。 特点 1) 容易集成：如Spark，Hive，Pig，Flume和Map Reduce。 2) 性能好：直接使用HBase API以及协处 ...
分类：
其他好文 时间：
2019-08-06 13:54:25
阅读次数：
231
原文：http://www.sohu.com/a/287135829_818692 小史是一个非科班的程序员，虽然学的是电子专业，但是通过自己的努力成功通过了面试，现在要开始迎接新生活了。 对小史面试情况感兴趣的同学可以观看面试现场系列。 找到工作后的一小段时间是清闲的，小史把新租房收拾利索后，就开 ...
分类：
其他好文 时间：
2019-08-01 09:42:04
阅读次数：
120
