spark集群由两类集群构成:一个驱动程序,多个执行程序。 1、广播变量 broadcast 广播变量为只读变量,它由运行sparkContext的驱动程序创建后发送给会参与计算 的节点。也可被非驱动程序所在节点(即工作节点)访问,访问是调用该变量的value方法。 广播变量是存储在内存中。 sc. ...
分类:
其他好文 时间:
2017-04-10 10:37:53
阅读次数:
266
//值类型:int double char decimal bool enum struct //引用类型:string 数组 自定义类 集合 object 接口 如果是引用类型,是最后一个 装箱、拆箱装箱:就是将值类型转换为引用类型。拆箱:将引用类型转换为值类型。看两种类型是否发生了装箱或者拆箱, ...
作者尝试发明一个跟黑天鹅类似的概念来描述个人或集体视而不见的危机。我的感觉是作者的洞察力不够,思路不够清晰,行文比较啰嗦,各个章节的内容有很多重复,说服力不强。 具体来说,作者提到的灰犀牛基本是这两类:1:集体或个人知道危机但是没有采取行动去解决,如公地悲剧,或民主制度下决策者需要重视短期行为没法顾 ...
分类:
其他好文 时间:
2017-04-04 22:45:17
阅读次数:
270
(1)简单工厂模式: 设置一个接口,专门定义一个工厂类负责创建接口类的实例,通过工厂类判断输入的条件,从而选择相应的接口实现类进行实例化,然后进行输出。但是由于工厂类集中了所有产品创建逻辑,一旦不能正常工作,整个系统都受到影响。Jdk类库广泛使用简单工厂类。 ...
分类:
其他好文 时间:
2017-04-02 19:58:49
阅读次数:
166
继续上一篇浅谈java类集框架和数据结构(1)的内容 上一篇博文简介了java类集框架几大常见集合框架,这一篇博文主要分析一些接口特性以及性能优化。 一:List接口 List是最常见的数据结构了,主要有最重要的三种实现:ArrayList,Vector,LinkedList,三种List均来自Ab ...
分类:
编程语言 时间:
2017-04-01 17:21:12
阅读次数:
286
直接上代码 两个工具类 集合工具类: package org.smart4j.chapter2.util; import org.apache.commons.collections.MapUtils; import java.util.Collection; import java.util.Ma ...
分类:
数据库 时间:
2017-03-28 10:10:10
阅读次数:
292
集合框架(集合的由来及集合继承体系图) * A:集合的由来 * 数组长度是固定,当添加的元素超过了数组的长度时需要对数组重新定义,太麻烦,java内部给我们提供了集合类,能存储任意对象,长度是可以改变的,随着元素的增加而增加,随着元素的减少而减少 * B:数组和集合的区别 * 区别1 : * 数组既 ...
分类:
编程语言 时间:
2017-03-06 19:43:57
阅读次数:
198
医院的例子 现代的软件系统都是比较复杂的,设计师处理复杂系统的一个常见方法便是将其“分而治之”,把一个系统划分为几个较小的子系统。如果把医院作为一个子系统,按照部门职能,这个系统可以划分为挂号、门诊、划价、化验、收费、取药等。看病的病人要与这些部门打交道,就如同一个子系统的客户端与一个子系统的各个类 ...
分类:
编程语言 时间:
2017-03-01 16:00:10
阅读次数:
197