一个job对应一个action操作，action执行会有先后顺序； 每个job执行会先构建一个DAG路径，一个job会含有多个stage，主要逻辑在DAGScheduler。 spark提交job的源码见（SparkContext.scala的runJob方法）： DAGScheduler--job ...
分类：
其他好文 时间：
2019-10-27 17:08:08
阅读次数：
115
盒图¶ In [1]: %matplotlib inline np.random.normal()的意思是一个正态分布:numpy.random.normal(loc=0,scale=1e-2,size=shape) 参数loc(float)：正态分布的均值，对应着这个分布的中心。loc=0说明这一 ...
分类：
其他好文 时间：
2019-10-25 20:07:39
阅读次数：
142
题目描述见[Luogu P2462](https://www.luogu.org/problem/P2462)。
算法分析
其实这道题并不难，关键是如何转化。因为需要找到最长的单词接龙，就可以用图论来看。单词接龙不会出现环，所以，这就是个`DAG`上的拓扑排序。 ...
分类：
其他好文 时间：
2019-10-25 13:24:44
阅读次数：
79
Spark 资源调度与任务调度的流程(Standalone): 启动集群后, Worker 节点会向 Master 节点汇报资源情况, Master掌握了集群资源状况。 当 Spark 提交一个 Application 后, 根据 RDD 之间的依赖关系将 Application 形成一个 DAG ...
分类：
其他好文 时间：
2019-10-24 21:25:15
阅读次数：
70
题意 给一个DAG，多次询问，每次给定$k$个点，求1到这些点的必经点的交集大小 思路 支配树裸题，建好DAG的支配树后$k$个点LCA的深度即为答案 Code cpp include define N 100005 using namespace std; int n,m,q; int rd[N] ...
分类：
其他好文 时间：
2019-10-24 09:55:57
阅读次数：
61
RDD 宽窄依赖 RDD之间有一系列的依赖关系, 可分为窄依赖和宽依赖 窄依赖 从 RDD 的 parition 角度来看 父 RRD 的 parition 和 子 RDD 的 parition 之间的关系是一对一的 (或 者是多对一的)。 不会有 shuffle 产生 宽依赖 父 RRD 的 pa ...
分类：
其他好文 时间：
2019-10-23 18:02:41
阅读次数：
133
不知道为啥达哥说简单。。。。。。 考场上打了俩小时啥也没写出来导致崩盘了。 但是真的是好题啊。 要求在$NIM\ DAG$上随意加一条边，这条边只能走一次，求$Nim$博弈的胜率最大值和平均值。 考虑求出两个数组$dp[i]$和$g[i][0/1]$ $dp[i]$表示到达的地方是$i$的情况下不论 ...
分类：
其他好文 时间：
2019-10-19 09:24:28
阅读次数：
112
airflow Operators 一、 Dag 编写步骤 1. 类和若干operater类以及必要的Python模块 2. 设定默认参数，创建 对象 3. 提供必要的参数（比如task_id和dag)，创建 （即Operator对象） 4. 设定 的上下游依赖关系 1. import DAG类 2 ...
分类：
其他好文 时间：
2019-10-15 09:56:58
阅读次数：
103
1. Apache Oozie Oozie是一个工作流调度系统。Oozie是运行于Java Servlet容器上的一个java web应用。Oozie是按照有向无权图（DAG）调度方式，使用xml文件配置工作流。最初是由Cloudear公司开发，后来贡献给Apache a. apache Oozie ...
分类：
Web程序 时间：
2019-10-13 10:50:32
阅读次数：
111
