函数式编程 函数是Python内建支持的一种封装，我们通过把大段代码拆成函数，通过一层一层的函数调用，就可以把复杂任务分解成简单的任务，这种分解可以称之为面向过程的程序设计。函数就是面向过程的程序设计的基本单元。 而函数式编程（请注意多了一个“式”字）——Functional Programming ...
分类：
编程语言 时间：
2017-03-08 17:47:26
阅读次数：
260
如果你读过Google的那篇大名鼎鼎的论文“MapReduce: Simplified Data Processing on Large Clusters”，你就能大概明白map/reduce的概念。 map 举例说明，比如我们有一个函数f(x)=x2，要把这个函数作用在一个数组[1, 2, 3, ...
分类：
其他好文 时间：
2017-02-25 18:32:44
阅读次数：
289
在 上篇 我们讲了python将函数做为返回值和闭包的概念，下面我们继续讲解函数做参数和装饰器，这个功能相当方便实用，可以极大地简化代码，就让我们go on吧！ 能接受函数做参数的函数我们称之为高阶函数，例如filter, map, reduce这些函数 可以定义一个函数作为高阶函数例如： def ...
分类：
编程语言 时间：
2017-02-24 12:38:33
阅读次数：
233
# python 2.7 map(function, sequence[, sequence, ...]) -> list map传入的函数依次作用到序列的每个元素，并把结果作为新的list返回 >>> def f(a): return a*a >>> map(f,[3,6])[9, 36]>>> ...
分类：
编程语言 时间：
2017-02-20 15:52:14
阅读次数：
138
项目起源 项目起源 Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。 200 ...
分类：
其他好文 时间：
2017-02-05 19:39:10
阅读次数：
216
唐 清原, 咨询顾问 简介： 本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架（Yarn) 原理，优势，运作机制和配置方法等；着重介绍新的 yarn 框架相对于原框架的差异及改进；并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序 ...
分类：
其他好文 时间：
2017-01-30 21:06:21
阅读次数：
367
分布式： 分布式基础学习【一】 —— 分布式文件系统 分布式基础学习【二】 —— 分布式计算系统（Map/Reduce） ...
分类：
其他好文 时间：
2017-01-25 18:55:50
阅读次数：
169
简单查询和fetch task 简单查询： 简单查询的 fetch task 功能，从HDFS拉取，不用map reduce. 前两种配置，当前session有效。修改hive-site.xml永久有效。 查询中使用过滤 在查询中使用排序 排序使用别名时要开启使用别名模式：set hive.grou ...
分类：
其他好文 时间：
2017-01-23 17:28:11
阅读次数：
188
lambda 编程中提到的 lambda 表达式，通常是在需要一个函数，但是又不想费神去命名一个函数的场合下使用，也就是指匿名函数。返回一个函数对象。 func = lambda x,y:x+y func相当于 def func(x,y): return x+y map，reduce，filter中 ...
分类：
其他好文 时间：
2017-01-21 17:12:43
阅读次数：
174
