最近经常有小伙伴留言，核心问题都比较类似，就是虽然接触Spark有一段时间了，但是搞不明白一个问题，为什么我从HDFS上加载不同的文件时，打印的分区数不一样，并且好像spark.default.parallelism这个参数时不是一直起作用？其实笔者之前的文章已有相关介绍，想知道为什么，就必须了解S... ...
分类：
其他好文 时间：
2020-11-23 12:25:04
阅读次数：
5
1.Date Functions 【DATENOW()】 GGSCI (xag131) 3> view params RT002 REPLICAT RT002 SETENV (ORACLE_SID='CDB1') DBOPTIONS INTEGRATEDPARAMS(parallelism 6) U ...
分类：
数据库 时间：
2020-07-01 00:22:51
阅读次数：
74
1.Scalability 多加一台机器可多做一件事，这个就叫scalability，亦可为两台机器做一件事的时间减少为一半，叫 scalability speed up。 2.Parallelism 并行，跟concurrency不一样，这张图能很好说明区别： 3.Fault tolerance ...
分类：
其他好文 时间：
2020-05-16 00:51:44
阅读次数：
57
1、参数配置(并行度)分区的默认个数等于对spark.default.parallelism的指定值2、根据父rdd的reduceTask数量3、读取hdfs的文件生成的rddrdd分区的数量等于hdfs的文件的block4、sparkStreaming生成的rdd根据block interval， ...
分类：
其他好文 时间：
2020-05-08 16:12:24
阅读次数：
129
Concurrency is about dealing with lots of things at once. Parallelism is about doing lots of things at once. Not the same, but related. One is about s ...
分类：
其他好文 时间：
2020-03-21 09:32:11
阅读次数：
59
滚动更新、回滚服务 默认情况下, swarm一次只更新一个副本,并且两个副本之间没有等待时间，我们可以通过： --update-parallelism：设置并行更新的副本数量。 --update-delay： 指定滚动更新的时间间隔。 创建8个副本的masl服务： docker service cr ...
分类：
其他好文 时间：
2020-03-06 23:37:03
阅读次数：
113
总结 并行（parallelism），是同一时刻，两个线程都在执行。 并发（concurrency），是同一时刻，只有一个执行，但是一个时间段内，两个/多个线程都执行了。 并行 并发 ...
分类：
编程语言 时间：
2020-03-05 22:16:10
阅读次数：
71
job参数 backoffLimit: 5 activeDeadlineSeconds: 100 在 Job 对象中，负责并行控制的参数有两个：spec.parallelism，它定义的是一个 Job 在任意时间最多可以启动多少个 Pod 同时运行；spec.completions，它定义的是 Jo ...
参考：Max Degree of Parallelism最大并行度配置 结论： 与设置的线程数有关 有设置的并行度有关 测试如下： @@@code System.Threading.ThreadPool.SetMinThreads(20, 20); System.Threading.ThreadPo... ...
分类：
其他好文 时间：
2020-01-02 19:06:26
阅读次数：
180
进程篇 基本使用 1 ~~输出~~ 注意! Python官方文档提到为何必须要使用 ，由于该包的所有功能都需要将主模块导入到子模块中，但是IDLE无法将 模块导入子模块，所以只能在文件中编辑好程序执行 更多 ：[multiprocessing — Process based parallelism] ...
分类：
编程语言 时间：
2019-12-15 16:44:54
阅读次数：
90
