函数式编程的一个特点就是，允许把函数本身作为参数传入另一个函数，还允许返回一个函数。 高阶函数 定义：一个函数就可以接收另一函数作为参数，这种函数就称之为高阶函数。 map/reduce Python内建了map()和reduce()函数。 1.map()函数 map()函数接受两个参数，一个是函数 ...
分类：
编程语言 时间：
2017-11-26 19:33:36
阅读次数：
252
这里记录一些python的一些基础知识，主要内容是高阶函数的使用。或许我的心包有一层硬壳，能破壳而入的东西是极其有限的。所以我才不能对人一往情深。 python中的高阶函数 一、map()、reduce()和filter()函数使用 map()函数接收两个参数，一个是函数，一个是Iterable，m ...
分类：
编程语言 时间：
2017-11-21 14:57:46
阅读次数：
211
5 Ways to Make Your Hive Queries Run Faster Technique #1: Use Tez Hive can use the Apache Tez execution engine instead of the venerable Map-reduce eng ...
分类：
其他好文 时间：
2017-11-12 14:11:03
阅读次数：
127
名字开头大写 后面小写；练习： reduce求积： reduce把结果继续和序列的下一个元素做累积计算 字符串转浮点数练习： ...
分类：
编程语言 时间：
2017-11-11 17:40:46
阅读次数：
202
map/ reduce 了解： 简单介绍map/reduce 模式： http://www.csdn.net/article/2013-01-07/2813477-confused-about-mapreduce http://www.cnblogs.com/forfuture1978/archiv ...
分类：
编程语言 时间：
2017-10-12 19:03:04
阅读次数：
198
1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能 ...
分类：
其他好文 时间：
2017-10-12 16:12:37
阅读次数：
120
map() 举例说明，比如我们有一个函数f(x)=x²，要把这个函数作用在一个数组[1,2,3,4,5,6,7,8,9]上。 由于map()方法定义在JavaScript的Array中，我们调用Array的map()方法，传入我们自己的函数，就得到了一个新的Array作为结果： map()传入的参数 ...
分类：
编程语言 时间：
2017-10-10 16:31:57
阅读次数：
277
shuffle磁盘IO时间长 设置spark.local.dir为多个磁盘，并设置磁盘的IO速度快的磁盘，通过增加IO来优化shuffle性能 map|reduce数量大，造成shuffle小文件数目多 spark.shuffle.consolidateFiles为true，来合并shuffle中间 ...
分类：
其他好文 时间：
2017-10-06 10:38:25
阅读次数：
216
什么是函数式编程？ 与面向对象编程（Object-oriented programming）和过程式编程（Procedural programming）并列的编程范式。 最主要的特征是，函数是第一等公民，可以定义在函数内外，作为函数参数或返回值，函数的组合。 强调将计算过程分解成可复用的函数，典型例 ...
分类：
编程语言 时间：
2017-10-02 17:16:41
阅读次数：
278
文章转载自博客 http://edu.dataguru.cn/thread-241488-1-1.html。（写的很详细，留待以后实践。） 这里有几个主要关系： 1.经过Map、Reduce运算后产生的结果看上去是被写入到HBase了，但是其实HBase中HLog和StoreFile中的文件在进行f ...
分类：
其他好文 时间：
2017-09-30 13:17:57
阅读次数：
247
