DAGScheduler DAGScheduler的主要任务是基于Stage构建DAG,决定每个任务的最佳位置 记录哪个RDD或者Stage输出被物化 面向stage的调度层。为job生成以stage组成的DAG。提交TaskSet给TaskScheduler运行 又一次提交shuffle输出丢失的 ...
分类:
其他好文 时间:
2017-07-07 14:28:09
阅读次数:
213
ThreadLocal翻译成中文比较准确的叫法应该是:线程局部变量。 这个玩意有什么用处,或者说为什么要有这么一个东东?先解释一下,在并发编程的时候,成员变量如果不做任何处理其实是线程不安全的,各个线程都在操作同一个变量,显然是不行的,并且我们也知道volatile这个关键字也是不能保证线程安全的。 ...
分类:
其他好文 时间:
2017-07-07 10:27:40
阅读次数:
347
c风格的强制类型转换:Type b = (Type)ac++风格的类型提供了4种类型转换操作。const_cast,去掉const属性或volatile属性。static_cast,静态类型转换,如int转换程char。dynamic_cast,动态类型转换,如子类和父类之间的多态类型转换。rein ...
分类:
编程语言 时间:
2017-07-06 13:25:10
阅读次数:
230
一.static_cast static_cast 只能用于良性转换,这样的转换风险较低,一般不会发生什么意外,如: 二.const_cast const_cast用来去掉表达式的 const 修饰或 volatile 修饰。换句话说,const_cast 就是用来将 const/volatile ...
分类:
编程语言 时间:
2017-07-06 11:25:01
阅读次数:
156
1.当内存使用达到设置的最大阀值时,需要选择一种key的回收策略,可在Redis.conf配置文件中修改“maxmemory-policy”属性值。 若是Redis数据集中的key都设置了过期时间,那么“volatile-ttl”策略是比较好的选择。但如果key在达到最大内存限制时没能够迅速过期,或 ...
分类:
其他好文 时间:
2017-07-06 01:07:34
阅读次数:
208
第十二章 存储类、链接和内存管理 针对代码块中的static变量做如下范本 const与volatitle 区分const int *p; int * const p volatile 与const 是相对的 ...
分类:
其他好文 时间:
2017-07-05 20:09:21
阅读次数:
179
关键字: final finalize finally throws和throw static关键字的作用 abstract 和 interface super 和 this synchronize 和 volatile 1. final finalize finally对比 (1)性质不同 fin ...
分类:
编程语言 时间:
2017-07-05 13:42:03
阅读次数:
164
完美的单例 双重检查锁(DCL) 用处:延迟初始化,降低同步开销。double checked locking 注意:single必须声明为volatile,且支持JDK1.5及以上版本。 对象初始化需要三个步骤: memory=allocate(); //1.分配内存空间 ctorInstance ...
分类:
其他好文 时间:
2017-07-04 18:11:48
阅读次数:
217
CopyOnWriteArrayList 类分析 1. CopyOnWriteArrayList 其中底层实现存放数据是一个Object数组: private volatile transient Object[] array; 2. CopyOnWriteArrayList 集合操作,当对集合中的 ...
分类:
编程语言 时间:
2017-07-02 22:11:17
阅读次数:
157
volatile是C/C++中的一个关键字,将变量或对象声明为volatile类型后,每次对变量的访问都是从其内存直接读取。那什么时候对变量的访问不是从其内存读取的呢?一种常见的情况就是编译器开启了优化选项,这时候对变量的访问有可能就是从寄存器中读取。 volatile是C/C++中的关键字,所以它 ...
分类:
编程语言 时间:
2017-06-30 18:53:48
阅读次数:
202