Spark Streaming是Spark核心API的扩展，可以实现可伸缩、高吞吐量、具备容错机制的实时流时数据的处理。支持多种数据源，比如Kafka、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets。
??可以使用诸如map、reduce、join和window等高级函数进行复杂算法（比如，机器学习和图计算）的处理。最后还可以将处理结果存储到文件系统，数据库和仪表盘。本文主要内容有简介、架构与抽象、转化操作、行动操作。
分类：
其他好文 时间：
2018-09-10 00:59:24
阅读次数：
215
1、简答说一下hadoop的map reduce编程模型 首先map task会从本地文件系统读取数据，转换成key value形式的键值对集合 使用的是hadoop内置的数据类型，比如longwritable、text等 将键值对集合输入mapper进行业务处理过程，将其转换成需要的key val ...
分类：
其他好文 时间：
2018-09-08 22:33:48
阅读次数：
147
1.数据类型：字符串，列表，元组，字典，集合。处理每种数据类型的函数 2.判断与循环部分 3.高级函数：lambda，map，reduce，filter 4.自定义模块以及第三方模块 5.函数式编程 6.文件读写编程 7.面向对象编程 8.正则表达 9.线程与进程 ...
分类：
编程语言 时间：
2018-09-03 12:09:28
阅读次数：
132
索引： Notes 高阶函数 forEach filter map reduce some findIndex 重写课本示例代码 Excercises Flattening Your own loop Everything Dominant writing direction 索引： Notes 高 ...
分类：
编程语言 时间：
2018-08-29 19:11:04
阅读次数：
267
飞机票 lambda只是一个表达式，函数体比def简单很多。 lambda的主体是一个表达式，而不是一个代码块。仅仅能在lambda表达式中封装有限的逻辑进去。 lambda表达式是起到一个函数速写的作用。允许在代码内嵌入一个函数的定义。 如下例子： 定义了一个lambda表达式，求三个数的和。 再 ...
分类：
编程语言 时间：
2018-08-28 21:15:06
阅读次数：
194
1、MapReduce中数据流动 （1）最简单的过程： map - reduce （2）定制了partitioner以将map的结果送往指定reducer的过程： map - partition - reduce （3）增加了在本地先进性一次reduce（优化）过程： map - combin(本地 ...
分类：
编程语言 时间：
2018-08-25 17:36:18
阅读次数：
196
举个例子如下： 可以这样认为,lambda作为一个表达式，定义了一个匿名函数，上例的代码x为入口参数，x+1为函数体。在这里lambda简化了函数定义的书写形式。是代码更为简洁，但是使用函数的定义方式更为直观，易理解。 Python中，也有几个定义好的全局函数方便使用的，filter, map, r ...
分类：
其他好文 时间：
2018-08-23 15:36:26
阅读次数：
141
Hive优化 Hive优化目标 在有限的资源下，执行效率更高 常见问题 数据倾斜 map数设置 reduce数设置 其他 在有限的资源下，执行效率更高 数据倾斜 map数设置 reduce数设置 其他 Hive执行 HQL --> Job --> Map/Reduce 执行计划 explain [e ...
分类：
其他好文 时间：
2018-08-15 12:04:09
阅读次数：
164
这个内容我是参考廖雪峰的博客，摘抄其中一些内容而来的，附带解决他最后的问题代码。 举例说明，比如我们有一个函数f(x)=x2，要把这个函数作用在一个list [1, 2, 3, 4, 5, 6, 7, 8, 9]上，就可以用map()实现如下： 现在，我们用Python代码实现： map()传入的第 ...
分类：
编程语言 时间：
2018-08-11 23:23:54
阅读次数：
233
(1)关于hdfs小结 hadoop由hdfs + yarn + map/reduce组成， hdfs是数据库存储模块，主要由1台namenode和n台datanode组成的一个集群系统， datanode可以动态扩展，文件根据固定大小分块（默认为128M）， 每一块数据默认存储到3台datanod ...
分类：
编程语言 时间：
2018-08-07 16:51:24
阅读次数：
176
