1.LAG功能是什么？
2.LEAD与LAG功能有什么相似的地方那个？
3.FIRST_VALUE与LAST_VALUE分别完成什么功能？
继续学习这四个分析函数。
注意： 这几个函数不支持WINDOW子句。
Hive版本为 apache-hive-0.13.1
数据准备：
水电费 cookie1,2015-04-10 10:00:02,url2
...
分类：
其他好文 时间：
2016-05-12 13:26:18
阅读次数：
264
本节课程主要分二个部分：
一、Spark Streaming updateStateByKey案例实战
二、Spark Streaming updateStateByKey源码解密
第一部分：
updateStateByKey它的主要功能是随着时间的流逝，在Spark Streaming中可以为每一个key可以通过CheckPoint来维护一份state状态，通过更新函数对该k...
分类：
其他好文 时间：
2016-05-12 11:43:05
阅读次数：
176
RDD持久化、广播、累加器实质上分别涉及了RDD的数据如何保存，RDD在构建高效算法的时候涉及了persist或者checkpoint，以及广播和累加器，通过spark-shell可以试验一些小功能，spark-shell本身是spark的发行包推出的一个程序，通过这个程序可以直接写代码，spark-shell会把代码..
分类：
其他好文 时间：
2016-05-08 12:09:39
阅读次数：
1173
goldengate从11.2升级到12.1.2 1.停止抽取进程 GGSCI (001.oracle.drs.dc.com) 286> stop EXTSJ01 2. 停止投递和复制进程 等待投递进程传输完和复制进程加载完毕.当投递进程的Write Checkpoint #1的Sequence和R ...
分类：
其他好文 时间：
2016-05-05 22:39:19
阅读次数：
548
1、自动的进行磁盘数据和内存之间的无缝切换 2、基于lineage的高效容错，第n个出错，会从第n-1个开始执行 3、task失败会进行特定次数的重试 4、stage失败会自动进行特定次数的重试，并且只运行计算失败的数据分片 5、checkpoint（类似单机游戏里的存档）和presist，持久化c ...
分类：
其他好文 时间：
2016-04-21 23:36:29
阅读次数：
222
任何在缓冲区被修改的页都会被标记为“脏”页。将这个脏页写入到数据磁盘就是CheckPoint或者Lazy Writer的工作.前面就大体说了一下checkpoint,这会就简单的理解一下这个lazy writer. Lazy Writer存在的目的是对缓冲区进行管理。当缓冲区达到某一临界值时，Laz ...
分类：
数据库 时间：
2016-04-18 13:41:18
阅读次数：
328
关于检查点的解释: 出于性能方面的考虑，数据库引擎对内存（缓冲区缓存）中的数据库页进行修改，但在每次更改后不将这些页写入磁盘。相反，数据库引擎定期发出对每个数据库的检查点命令。“检查点”将当前内存中已修改的页（称为“脏页”）和事务日志信息从内存写入磁盘，并记录有关事务日志的信息。 数据库引擎支持几种 ...
分类：
数据库 时间：
2016-04-18 13:20:23
阅读次数：
342
checkpoin是重做日志对数据页刷新到磁盘的操作做的检查点，通过LSN号保存记录，作用是当发生宕机等crash情况时，再次启动时会查询checkpoint点，在该检查点之后发生的事物修改恢复到磁盘。mysql>showengineinnodbstatus\G;---LOG---Logsequencenumber10623965866Logflushedu..
分类：
数据库 时间：
2016-04-05 14:14:00
阅读次数：
6233
hadoopsecondnamenode异常Inconsistentcheckpointfields没有访问量情况下，namenode进程：cpu100%；内存使用超多；没有错误日志；secondarynamenode报错：java.io.IOException:Inconsistentcheckpointfields.
LV=-57namespaceID=371613059cTime=0;clusterId=CID-b8a5f273-515a-..
分类：
其他好文 时间：
2016-03-16 02:08:05
阅读次数：
524
需求：由于项目变态，需要在一个比较短时间段急剧增加数据库记录（两三天内，由于0增加至5亿）。在整个过程调优过程非常艰辛 思路： （1）提高数据库插入性能中心思想：尽量将数据一次性写入到Data File和减少数据库的checkpoint 操作。这次修改了下面四个配置项： 1）将 innodb_flu
分类：
数据库 时间：
2016-03-04 13:16:30
阅读次数：
287
