4. RDD的依赖关系 6.1 RDD的依赖 RDD和它依赖的父RDD的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。 6.2 窄依赖 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 总结：窄 ...
分类：
其他好文 时间：
2019-08-29 22:52:33
阅读次数：
110
MapReduce和自定义Partition MobileDriver主类 JobUtils工具类 Map自定义类 Reduce自定义类 Partition自定义分区类 ...
分类：
移动开发 时间：
2019-08-28 22:23:45
阅读次数：
145
Description: Given a string, determine if it is a palindrome, considering only alphanumeric characters and ignoring cases. Note: For the purpose of th ...
分类：
其他好文 时间：
2019-08-28 18:23:42
阅读次数：
89
CAP定理：一个分布式系统不可能同时满足一致性（C:Consistency）、可用性（A:Availability）和分区容错性（P:Partition tolerance）这三个基本要求，最多只能满足其中的两项。一致性在分布式环境中，一致性是指数据在多个副本之间是否能够保持强一致的特性。对于一个将... ...
分类：
其他好文 时间：
2019-08-26 10:01:17
阅读次数：
67
# 10-palindrome.py import string def is_palindrome(text: str) -> bool: '是否为回文' # 1、先去除标点符号以及空格，并将所有字母小写化 result = '' for i in range(len(text)): if not... ...
分类：
编程语言 时间：
2019-08-25 15:42:04
阅读次数：
66
快速排序 package algorithm.sort; / 快速排序 思想：类似于归并排序，但是不同于归并排序每次排序寻找一次子数组中点的是，寻找一个更恰当的分区点 @Author 28370 @Date 2019 5 13 / public class QuickSort { public st ...
分类：
编程语言 时间：
2019-08-25 14:06:52
阅读次数：
80
kafka深入研究之路(1)-剖析各原理02接着上一文的内容继续升入研究topic如何创建于删除的topic的创建具体流程文字为：1、controller在ZooKeeper的/brokers/topics节点上注册watcher，当topic被创建，则controller会通过watch得到该topic的partition/replica分配。2、controller从/brokers/ids读
分类：
其他好文 时间：
2019-08-25 10:20:58
阅读次数：
117
什么是 Rebalance Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 consumer 如何达成一致，来分配订阅 Topic 的每个分区。 例如：某 Group 下有 20 个 consumer 实例，它订阅了一个具有 100 个 partition ...
分类：
其他好文 时间：
2019-08-24 19:02:07
阅读次数：
484
spark是通过借鉴Hadoop mapreduce发展而来，继承了其分布式并行计算的优点，并改进了mapreduce明显的缺陷，具体表现在以下几方面： 1.spark把中间计算结果存放在内存中，减少迭代过程中的数据落地，能够实现数据高效共享，迭代运算效率高。mapreduce中的计算中间结果是保存 ...
分类：
其他好文 时间：
2019-08-24 17:02:42
阅读次数：
89
Whichistrueaboutexternaltables?A)Segmentsareallocatedforexternaltables.B)Theymayhaveindexes.C)Theydonotsupportpartitioning.D)TheORACLE_DATAPUMPaccessdrivercanbeusedtowritedatatoexternaltables.E)DMLope
分类：
其他好文 时间：
2019-08-23 15:05:34
阅读次数：
73
