一、Steaming Map任务： Reducer任务： 启动脚本： 二、Python Map任务： Reducer任务： 启动脚本： 三、Java Map： Reduce： Main： ...
分类：
编程语言 时间：
2018-07-05 19:45:14
阅读次数：
254
基于谷歌的论文 GFS hdfs MAP-Reduce 做的实现 Hadoop 解决的问题 如何存储 及分析 Bigtable Hbase(列式数据库) PB级别 具体应用 网盘 基于 hdfs 一、HDFS优点 高容错性 1.数据自动保存多个副本 （随机存放）2.副本丢失后，自动恢复 适合批处理 ...
分类：
其他好文 时间：
2018-07-03 23:52:34
阅读次数：
186
基础概念 Spark Streaming 是 Spark Core API 的扩展, 它支持弹性的, 高吞吐的, 容错的实时数据流的处理. 数据可以通过多种数据源获取, 例如 Kafka, Flume, Kinesis 以及 TCP sockets, 也可以通过例如 map, reduce, joi ...
分类：
其他好文 时间：
2018-06-30 14:50:42
阅读次数：
206
1.两者区别是什么？ApacheHive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。ApacheHBase是一种Key/Value系统，它运行在HDFS
分类：
其他好文 时间：
2018-06-26 20:04:28
阅读次数：
139
python基础-函数式编程 python基础-函数式编程 高阶函数：map , reduce ,filter,sorted 匿名函数: lambda 1.1函数式编程 面向过程编程：我们通过把大段代码拆成函数，通过一层一层的函数，可以把复杂的任务分解成简单的任务，这种一步一步的分解可以称之为面向过 ...
分类：
编程语言 时间：
2018-06-22 13:26:19
阅读次数：
177
filter和map和reduce map(function,iterable...) list 映射，对列表中的每个值操作 返回操作后的数值组成列表 给列表值+1 l = [1,2,3,4,5,6,7,8,9,10] print(list(map(lambda x:x+1,l))) [2, 3, ...
分类：
编程语言 时间：
2018-06-22 13:26:11
阅读次数：
128
map/reduce Python内建了map()和reduce()函数。 我们先看map。map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。 举例说明，比如我们有一个函数f(x)=x2，要把这个函数作用 ...
分类：
其他好文 时间：
2018-06-16 13:27:19
阅读次数：
152
lambda 匿名函数，核心是作为算子，处理逻辑只有一行但具有函数的特性，核心用于函数式编程中 三元运算符 其实本质上是if分支的简化版，满足条件返回 if 前面的值，不满足条件返回 else后面的值 map 映射函数(依次把可迭代对象(可多个)中的值依次传递到函数中，然后返回生成器(长度以最短的为 ...
分类：
编程语言 时间：
2018-06-05 18:46:08
阅读次数：
207
map()函数：处理序列中的每一个元素，得到的结果是一个迭代器形式，该迭代器的位置以及元素个数与原来一样。可以处理任何可迭代序列 filter()函数：遍历序列中的每一个元素，判断每个元素得到的布尔值，如果是True则留下来 运行结果： reduce()函数：处理一个序列，然后把序列进行合并 运行结 ...
分类：
其他好文 时间：
2018-06-03 21:24:39
阅读次数：
163
#数据准备 List1=range(10) list(List1)[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]map函数 可以操作可迭代对象，输出也是可迭代的对象def f_map(x): return x**2#使用map函数 List2=map(f_map,List1) list... ...
分类：
编程语言 时间：
2018-05-29 18:57:50
阅读次数：
150
