1、你要切换到yarn-cluster或者yarn-client模式，很简单，将我们之前用于提交spark应用程序的spark-submit脚本，加上--master参数，设置为yarn-cluster，或yarn-client，即可。如果你没设置，那么，就是standalone模式。2、yarn集 ...
分类：
Web程序 时间：
2019-09-19 18:06:18
阅读次数：
151
定义 对于有向无权无环图，进行拓扑排序 实现方式 Kahn算法 基于DFS的拓扑排序算法 Kahn算法 优化前时间复杂度O($n^{2}$) 排序的过程 1.对于DAG，先输出没有前驱的点 2.把与前驱相关的边删除 3.继续输出没有前驱的点 4.重复前者，直到DAG为空或者没有前驱 如果我们有如下的 ...
分类：
编程语言 时间：
2019-09-16 19:48:35
阅读次数：
93
一、Pycharm （一）、安装 （二）、激活 1、首次启动会让你激活产品 激活途径很多，你可以选择付费购买激活码； 2、激活码激活 激活码分很多种，一般情况下，能百度到的激活码多少多少都是可以用的（不能完全确定） 添加这段代码到hosts文件中。（保存关闭） 提供几个收集可用的激活码 Ⅰ Ⅱ Ⅲ ...
分类：
其他好文 时间：
2019-09-12 13:39:20
阅读次数：
158
1.1.1.计算流程 1.1.2. 从代码构建DAG图 Spark program Val lines1 = sc.textFile(inputPath1).map(...).map(...) Val lines2 = sc.textFile(inputPath2).map(...) Val lin ...
分类：
其他好文 时间：
2019-09-11 09:51:17
阅读次数：
84
最小路径覆盖 DAG的最小可相交路径覆盖： 算法：先用floyd求出原图的传递闭包，即如果a到b有路径，那么就加边a->b。然后就转化成了最小不相交路径覆盖问题。 这里解释一下floyd的作用如果1->2->3->4那么1可以到达2，3，4只要需要借助一些点，那么就可以直接把1与2，3，4相连，这就 ...
分类：
其他好文 时间：
2019-09-09 22:52:17
阅读次数：
93
纯js实现文件下载并重命名功能 来源: https://www.cnblogs.com/vipzhou/p/10700130.html /** * 获取 blob * @param {String} url 目标文件地址 * @return {cb} */ function getBlob(url, ...
分类：
Web程序 时间：
2019-09-07 10:24:58
阅读次数：
438
"2019 ACM ICPC 南京区网络赛 D. Robots DAG图上概率动态规划" 【Problem Description】 ? 有向无环图中，有个机器人从$1$号节点出发，每天等概率的走到下一个节点或者停在当前节点，并且第$i$天消耗$i$的耐久度。求它到达$n$号节点时期望消耗的耐久度是 ...
分类：
其他好文 时间：
2019-09-05 23:11:14
阅读次数：
127
（施工中……） 比赛传送门：https://www.jisuanke.com/contest/3004 D. Robots（期望dp） 题意 给一个DAG，保证入度为$0$的点只有$1$，出度为$0$的点只有$n$。 现在一个机器人从$1$出发，每天都会以相同的概率前往相邻节点之一或静止不动。 每天 ...
分类：
其他好文 时间：
2019-09-01 23:31:41
阅读次数：
128
P4316 绿豆蛙的归宿 期望DP DAG上，每条边有边权，走向相连每条路的概率相等，问从起点到终点所经过的路径总长度期望 因为发现终点走到终点期望为0，定义$f[i]$从终点走到$i$所经过的路径总长度期望，所以$f[n]=0$。于是建反图，拓扑转移 $$ f[v]+=\frac{w+f[u]}{ ...
分类：
其他好文 时间：
2019-08-31 11:08:53
阅读次数：
102
4. RDD的依赖关系 6.1 RDD的依赖 RDD和它依赖的父RDD的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。 6.2 窄依赖 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 总结：窄 ...
分类：
其他好文 时间：
2019-08-29 22:52:33
阅读次数：
110
