一.匿名函数 匿名函数是lambda定义的没有名字的具有一些小功能的函数 具体形式是 二.内置函数 1) int(), float(), str(), list(), set(), tuple() 和 dict() 这些都是和类型相关的函数 2) map(), reduce() 和 filter() ...
分类：
编程语言 时间：
2017-04-13 19:03:04
阅读次数：
280
和 Hadoop 一样，Spark 提供了一个 Map/Reduce API（分布式计算）和分布式存储。二者主要的不同点是，Spark 在集群的内存中保存数据，而 Hadoop 在集群的磁盘中存储数据...
分类：
其他好文 时间：
2017-04-12 20:02:18
阅读次数：
181
安装 Scala IDE
搭建 Scala 语言开发环境很容易，Scala
IDE 官网 下载合适的版本并解压就可以完成安装，本文使用的版本是 4.1.0。
安装 Scala 语言包
...
分类：
其他好文 时间：
2017-04-12 15:45:55
阅读次数：
1069
看过Tom White写的Hadoop权威指南(大象书)的朋友一定得从第一个天气预报的Map Reduce程序所吸引， 殊不知，Tom White大牛虽然在书中写了程序和讲解了原理，但是他以为你们都会部署了，这里轻描淡写给 带过了，这样就给菜鸟们留了课题，其实在跑书中的程序的时候，如果没经验，还是会 ...
分类：
其他好文 时间：
2017-04-12 03:17:26
阅读次数：
211
集合讲的是数据，流讲的是计算。 流的数据处理功能支持类似于数据库的操作，以及函数式编程语言中的常用操作，如filter、 map、 reduce、 find、 match、 sort等。 流操作可以顺序执行，也可并行执行。 两大特性： 1.流水线 2.内部迭代 ...
分类：
编程语言 时间：
2017-04-01 19:05:22
阅读次数：
140
map(function,ls): 函数接收两个参数，一个是函数，一个是序列，map将传入的函数依次作用到序列的每个元素，并把结果作为新的list返回。 如： reduce(function,ls): 函数接收两个参数，一个是函数，一个是序列,reduce把一个函数作用在一个序列[x1, x2, x ...
分类：
编程语言 时间：
2017-03-31 17:33:30
阅读次数：
132
java开发map_reduce程序 配置系统环境变量HADOOP_HOME，指向hadoop安装目录（如果你不想招惹不必要的麻烦，不要在目录中包含空格或者中文字符） 把HADOOP_HOME/bin加到PATH环境变量（非必要，只是为了方便） 如果是在windows下开发，需要添加windows的 ...
分类：
其他好文 时间：
2017-03-31 10:14:09
阅读次数：
230
转自：https://my.oschina.net/ztlyde/blog/68513 引入： Spring Data是SpringSource基金会下的一个用于简化数据库访问，并支持云服务的开源框架。其主要目标是使得数据库的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。对于拥有 ...
分类：
编程语言 时间：
2017-03-25 11:28:53
阅读次数：
227
一、uber模式 MapReduce以Uber模式运行时，所有的map，reduce任务都在一个jvm中运行，对于小的mapreduce任务，uber模式的运行将更为高效。 uber模式配置，在mapred-site.xml中进行配置，如下 mapreduce.job.ubertask.enable ...
分类：
其他好文 时间：
2017-03-17 23:32:08
阅读次数：
174
第一章：Spring Data JPA入门 Spring Data是什么 Spring Data是一个用于简化数据库访问，并支持云服务的开源框架。其主要目标是使得对数据的访问变得方便快捷，并支持map-reduce框架和云计算数据服务。 Spring Data 包含多个子项目： Commons - ... ...
分类：
编程语言 时间：
2017-03-10 12:31:33
阅读次数：
331
