一、Airflow简介 airflow是Airbnb开源的一个用python编写的调度工具,项目于2014年启动,2015年春季开源,2016年加入Apache软件基金会的孵化计划,使用Python编写实现的任务管理、调度、监控工作流平台。 Airflow 是基于DAG(有向无环图)的任务管理系统, ...
分类:
其他好文 时间:
2021-06-28 20:39:57
阅读次数:
0
spark-RDD缓存,checkpoint机制,有向无环图,stage 1.RDD依赖关系 RDD依赖关系有2种不同类型,窄依赖和宽依赖。 窄依赖(narrow dependency):是指每个父RDD的Partition最多被子RDD一个Partition使用。就好像独生子女一样。窄依赖的算子包 ...
分类:
其他好文 时间:
2021-06-22 18:39:47
阅读次数:
0
[P6154] 游走 - 期望 Description 给定一个有向无环图,求其中一条路径长度的期望。 Solution 一条路径长度的期望 = 所有路径长度和 / 所有路径条数 计算这两个东西用 dp,设 \(f[i]\) 为 i 出发的路径的长度和,\(c[i]\) 为 i 出发的路径的条数 转 ...
分类:
其他好文 时间:
2021-03-03 12:02:11
阅读次数:
0
对一个有向无环图(Directed Acyclic Graph简称DAG)G进行拓扑排序,是将G中所有顶点排成一个线性序列,使得图中任意一对顶点u和v,若边<u,v>∈E(G),则u在线性序列中出现在v之前。通常,这样的线性序列称为满足拓扑次序(Topological Order)的序列,简称拓扑序 ...
分类:
编程语言 时间:
2021-01-20 11:40:41
阅读次数:
0
前 看了前几篇随笔,感觉有点翻译的味道,以后我尽量避免。 这次我们要看的是关于数据库的并行控制的paper,是1976年的老文章了。这篇paper分为两个部分,第一部分介绍多粒度锁,讲的是在继承结构下的加锁方法,第二部分介绍关于多层级的isolation。 多粒度锁 直觉上,排外锁(X)和共享锁(S ...
分类:
其他好文 时间:
2020-11-17 12:46:44
阅读次数:
8
Codeforces 1430G Yet Another DAG Problem 题意 $n$个点$m$条边的有向无环图,每条边有边权$w_i$,现在让你给每个点一个点权$a_v$,对于第$i$条边$(x,y)$,写上一个数字$b_i=a_x-a_y$并且$a_x>a_y$,使得$\sum_^w_i ...
分类:
其他好文 时间:
2020-10-22 22:21:13
阅读次数:
29
一、试编写一个算法,给有向无环图G中每个顶点赋以一个整数序号,并满足以下条件:若从顶点i至顶点j有一条弧,则应使i<j。 答: 分析题目,我们很容易知道本题应当采用拓扑排序的方法。我们先统计所有点的入度,然后把当前剩下的点中入度为0的点编号,把这个点删去,更新与它相邻的点的入度,直到重复所有点处理完 ...
分类:
编程语言 时间:
2020-09-03 16:44:39
阅读次数:
39
5480. 可以到达所有点的最少点数目 #贪心 题目链接 题意 给定有向无环图,编号从0到n-1,一个边集数组edges(表示从某个顶点到另一顶点的有向边),现要找到最小的顶点集合,使得从这些点出发,能够到达图中所有顶点。 样例 输出为[0, 2, 3]。从这三个顶点出发即能访问所有顶点。 分析 实 ...
分类:
其他好文 时间:
2020-08-28 14:27:05
阅读次数:
51
依旧是采用上一篇文章中Kaggle上的比赛,来对神经网络中最基础的前馈神经网络、卷积神经网络、循环神经网络做简要的介绍。 神经网络可以理解为一张有向无环图,被划分为输入层、隐藏层、输出层三部分,给定的输入被输入层接收后,经过隐藏层的一系列计算,最后把结果给到输出层。 隐藏层的每一个节点(神经元)会以 ...
分类:
其他好文 时间:
2020-07-29 21:43:18
阅读次数:
51
题目大意 给你$n$个定点$m$条边,这$m$条边中有有向边也有无向边。 当$t=0$时,输入边代表的是无向边。 当$t=1$时,输入的边代表的是$x-y$的有向边。 要你将所有的无向边变为有向边后整个图是无环的(有向无环图)。 思路 有向边时建边而且更新入度,无向边时只存边不更新入度。 然后在拓扑 ...
分类:
编程语言 时间:
2020-07-26 01:40:23
阅读次数:
69