DStream的转化操作DStreamAPI提供的与转化操作相关的方法如下：如下举例详解transform(func)方法和updateStateByKey(fhnc)方法：（1）、transform(func)方法transform方法及类似的transformWith(func)方法允许在DStream上应用任意RDD-to-RDD函数，它们可以被应用于未在DStreamAPI中暴露的任何RD
分类：
其他好文 时间：
2020-05-24 10:00:38
阅读次数：
88
本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是spark专题的第六篇文章，这篇文章会介绍一个免费的spark平台，我们可以基于这个平台做一些学习实验。 databricks 今天要介绍的平台叫做databricks，它是spark的创建者开发的统一分析平台。单凭spark创建 ...
分类：
其他好文 时间：
2020-05-24 09:23:32
阅读次数：
113
Zab 协议：zookeeper 基于 Paxos 协议的改进协议 zookeeper atomic broadcast 原子广播协议。
zookeeper 基于 Zab 协议实现选主及事务提交。 ...
分类：
其他好文 时间：
2020-05-23 09:23:59
阅读次数：
59
PX: 这些都是在scala环境下的 , 非Java Spark map 转化 1行转1行 , 但可以比如拆分 , 截取 ...
分类：
其他好文 时间：
2020-05-22 21:35:06
阅读次数：
51
1.上代码 我是1-10分为3个分区 , 并取出下标号为0 的分区的数据 , 并打印 ,要想获得自己想要的分区 , 执行 这里返回的是新 RDD , 并且支持 map等操作 , 但是你只能操作一个分区了 . 在某些内存不够用的情况下 , 可以采用这种分阶段操作的方法. .mapPartitionsW ...
分类：
其他好文 时间：
2020-05-22 21:16:34
阅读次数：
92
架构 Driver Program：每个 Spark 应用的主程序 Spark Context：在 Driver 里面构建，用于协调、调度在各个节点运行的进程 Cluster Manager：管理节点，分配资源（可以是 Spark standalone、Mesos、Yarn、K8S） Worker ...
分类：
其他好文 时间：
2020-05-22 09:37:29
阅读次数：
62
ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and ...
分类：
编程语言 时间：
2020-05-21 21:20:50
阅读次数：
191
基于版本：Spark 2.2.0 把一些概念搞清楚，Spark轮廓就清晰了。 什么是Catalog，中文翻译目录，那啥叫目录呢？下面是百度百科的解释： `目录，是指书籍正文前所载的目次，是揭示和报道图书的工具。目录是记录图书的书名、著者、出版与收藏等情况，按照一定的次序编排而成，为反映馆藏、指导阅读 ...
分类：
数据库 时间：
2020-05-21 19:20:07
阅读次数：
95
2 命题方向 每团队3-5人，请使用目前流行的大数据框架与分析挖掘工具，如：Hadoop、Spark、R、Flink、TensorFlow语言等，完成一个实用的软件系统，为行业、企业或个人生活提供有益的支持。选题方向可结合（但不限于）以下方面： （1）互联网数据或者传统信息管理系统数据的获取与分析： ...
分类：
其他好文 时间：
2020-05-21 19:02:38
阅读次数：
65
