在前一篇文章中，介绍到了Galaxy的增量计算性质，其state是框架内部管理的，以及与Storm的简单对比。这篇文章将讲述更多Galaxy增量模型的事情，并介绍这套增量模型之上实现的Galaxy SQL和Galaxy Operator，同时会从增量角度对比Spark Streaming。...
分类：
其他好文 时间：
2015-01-16 16:42:07
阅读次数：
652
在测试hive0.14.0ontez时遇到的问题比较多：1.在使用cdh5.2.0+hive0.14.0+tez-0.5.0测试时，首先遇到下面的问题java.lang.NoSuchMethodError:org.apache.tez.dag.api.client.Progress.getFailedTaskAttemptCount()I
atorg.apache.hadoop.hive.ql.exec.tez.TezJobMonitor.printS..
分类：
其他好文 时间：
2015-01-15 01:50:47
阅读次数：
441
应用的场景
1）DAG中Lineage过长，如果要重新计算的，则开销会很大（如在PageRank中）。
2）在Shuffle Dependency上采用Lineage的话，由于子RDD分区中的一个分区可能依赖于父RDD的中所有分区，所以需要对父RDD中的每个区进行计算，因为在子RDD中有可能其它分区也依赖于父RDD中的多个分区，这样就会造成很大的冗余计算开销。
传统方式
在RDD计算中，通...
分类：
其他好文 时间：
2015-01-13 23:26:27
阅读次数：
484
题目大意：定义半连通图：图中任意两点之间可以单向到达。求一个图的最大半连通子图，和这个图最大半连通子图的个数。
思路：半连通图并不是一定要没有环。。这题意让我理解的。。
其实想法什么的不难，想明白了也不难写。因为要保证半连通，所以要先处理出一个图的联通状况。先用Tarjan缩点得到DAG，在这个DAG上找到最长链的长度就是第一问的答案。第二问可以先找到所有f值等于答案的点，在这些点上反...
分类：
移动开发 时间：
2015-01-11 11:02:20
阅读次数：
213
依次执行如下操作，进入到账户配置页面可以看到当前的系统登陆服务账号为之前配置的服务账号BackupExecUser首先登录到robin.pang@robin.com这个账户，收件箱有如下邮件删除收件箱中的邮件选中DAG，然后点击一次性备份旁的下拉三角选择“一次性备份至磁盘”，这里由于测试功能，..
分类：
其他好文 时间：
2015-01-09 01:43:35
阅读次数：
285
通过BE还原数据库到其他位置，因为通过恢复数据库去覆盖现有数据库，我个人觉得意义不大，例如：假如公司因为一个人的邮件的丢失，你觉得管理员会由于一个的邮件去恢复整个数据库吗？所以我这里通过恢复数据库到其他位置，然后通过恢复数据库对邮件进行恢复，先讲下通过BE2014..
分类：
数据库 时间：
2015-01-09 01:42:56
阅读次数：
238
下面开始创建RDB进行邮箱恢复执行如下命令创建一个名为EDB01的恢复数据库，并连接到我们恢复的数据中的数据库和日志其中-EdbFilePath指定的是刚才我们恢复的数据库的数据库文件，而-LogFolderPath是日志文档的当前文件夹，-Recovery指定当前创建的数据库为恢复数据库，-Name指..
分类：
数据库 时间：
2015-01-09 01:41:52
阅读次数：
372
首先登陆robin.pang@robin.com这个邮箱账户删除收件箱中的邮件执行如下操作点击“下一步”选择“MicrosoftExchange邮箱项”，点击“下一步”，第一个是恢复数据库，但是我们应该注意，当恢复数据库时，一定要在当前数据库上选择允许覆盖选择需要恢复邮箱的数据库展开数据库，并..
分类：
其他好文 时间：
2015-01-09 01:39:30
阅读次数：
678
矩形嵌套时间限制：3000ms | 内存限制：65535KB难度：4描述有n个矩形，每个矩形可以用a,b来描述，表示长和宽。矩形X(a,b)可以嵌套在矩形Y(c,d)中当且仅当a#include#include#includeusing namespace std;typedef struct aa...
分类：
其他好文 时间：
2015-01-04 21:08:03
阅读次数：
170
题意：
给定一些立方体，对于两个立方体，只有其中一个底面两个边都严格小于另一个才可以放在其上面。求可以得到的最大高度。
思路：
一个立方体可以转成6个底面不同的具有不同权值(高度)的矩形，然后就是这些矩形的嵌套问题了。以前是将这个问题转成了DAG图上的最长路做的；这一次直接将这些矩形按照底面积由小到大的排序，然后问题就变成求最长上升子序列了。
代码如下：
...
分类：
其他好文 时间：
2014-12-31 14:36:20
阅读次数：
121
