RDD持久化、广播、累加器实质上分别涉及了RDD的数据如何保存，RDD在构建高效算法的时候涉及了persist或者checkpoint，以及广播和累加器，通过spark-shell可以试验一些小功能，spark-shell本身是spark的发行包推出的一个程序，通过这个程序可以直接写代码，spark-shell会把代码..
分类：
其他好文 时间：
2016-05-08 12:09:39
阅读次数：
1173
goldengate从11.2升级到12.1.2 1.停止抽取进程 GGSCI (001.oracle.drs.dc.com) 286> stop EXTSJ01 2. 停止投递和复制进程 等待投递进程传输完和复制进程加载完毕.当投递进程的Write Checkpoint #1的Sequence和R ...
分类：
其他好文 时间：
2016-05-05 22:39:19
阅读次数：
548
1、自动的进行磁盘数据和内存之间的无缝切换 2、基于lineage的高效容错，第n个出错，会从第n-1个开始执行 3、task失败会进行特定次数的重试 4、stage失败会自动进行特定次数的重试，并且只运行计算失败的数据分片 5、checkpoint（类似单机游戏里的存档）和presist，持久化c ...
分类：
其他好文 时间：
2016-04-21 23:36:29
阅读次数：
222
任何在缓冲区被修改的页都会被标记为“脏”页。将这个脏页写入到数据磁盘就是CheckPoint或者Lazy Writer的工作.前面就大体说了一下checkpoint,这会就简单的理解一下这个lazy writer. Lazy Writer存在的目的是对缓冲区进行管理。当缓冲区达到某一临界值时，Laz ...
分类：
数据库 时间：
2016-04-18 13:41:18
阅读次数：
328
关于检查点的解释: 出于性能方面的考虑，数据库引擎对内存（缓冲区缓存）中的数据库页进行修改，但在每次更改后不将这些页写入磁盘。相反，数据库引擎定期发出对每个数据库的检查点命令。“检查点”将当前内存中已修改的页（称为“脏页”）和事务日志信息从内存写入磁盘，并记录有关事务日志的信息。 数据库引擎支持几种 ...
分类：
数据库 时间：
2016-04-18 13:20:23
阅读次数：
342
checkpoin是重做日志对数据页刷新到磁盘的操作做的检查点，通过LSN号保存记录，作用是当发生宕机等crash情况时，再次启动时会查询checkpoint点，在该检查点之后发生的事物修改恢复到磁盘。mysql>showengineinnodbstatus\G;---LOG---Logsequencenumber10623965866Logflushedu..
分类：
数据库 时间：
2016-04-05 14:14:00
阅读次数：
6233
hadoopsecondnamenode异常Inconsistentcheckpointfields没有访问量情况下，namenode进程：cpu100%；内存使用超多；没有错误日志；secondarynamenode报错：java.io.IOException:Inconsistentcheckpointfields.
LV=-57namespaceID=371613059cTime=0;clusterId=CID-b8a5f273-515a-..
分类：
其他好文 时间：
2016-03-16 02:08:05
阅读次数：
524
需求：由于项目变态，需要在一个比较短时间段急剧增加数据库记录（两三天内，由于0增加至5亿）。在整个过程调优过程非常艰辛 思路： （1）提高数据库插入性能中心思想：尽量将数据一次性写入到Data File和减少数据库的checkpoint 操作。这次修改了下面四个配置项： 1）将 innodb_flu
分类：
数据库 时间：
2016-03-04 13:16:30
阅读次数：
287
hadoop 常用配置项【转】 core-site.xml name value Description fs.default.name hdfs://hadoopmaster:9000 定义HadoopMaster的URI和端口 fs.checkpoint.dir /opt/data/hadoop
分类：
其他好文 时间：
2016-02-22 20:54:05
阅读次数：
242
内容：1、RDD持久化实战；2、Spark广播实战；3、Spark累加器实战；持久化实战几个方面：1、怎么保存结果；2、实现算法的时候cache、persist；3、checkpoint广播：构建算法至关重要，降低网络传输数据量、提高内存的使用效率、加快程序的运行速度累加器：全局的指针部件的变量，..
分类：
其他好文 时间：
2016-02-21 06:49:42
阅读次数：
646
