1.Job组成部分 Job 其实是由 3 个部分组成： JobDetail: 用于描述这个Job是做什么的 实现Job的类: 具体干活的 JobDataMap: 给 Job 提供参数用的 JobDataMap 除了usingJobData 方式之外，还可以是其他方式 2.Job并发 默认的情况下，无 ...
分类：
其他好文 时间：
2020-03-17 19:50:18
阅读次数：
65
现在大系统都是用一个deploy job去部署，在pipeline里面配置了多个job，运行时间很长，所以考虑优化一下 看了下jenkins里面的语法提示 改造成并发比较容易，不过考虑到有些模块之间的依赖关系，所以分组设置，不同组之间可以并发部署 执行后查看，各个分组已经可以同时运行 最后查看执行时 ...
分类：
其他好文 时间：
2018-01-06 14:09:45
阅读次数：
1667
Spark程序中一个Job的触发是通过一个Action算子，比如count(),saveAsTextFile()等在这次Spark优化测试中，从Hive中读取数据，将其另外保存四份，其中两个Job采用串行方式，另外两个Job采用并行方式。将任务提交到Yarn中执行。能够明显看出串行与兵线处理的性能。每个Job执行时..
分类：
其他好文 时间：
2017-08-30 20:08:47
阅读次数：
349
hive里，同一sql里，会涉及到n个job，默认情况下，每个job是顺序执行的。
如果每个job没有前后依赖关系，可以并发执行的话，可以通过设置该参数 set hive.exec.parallel=true，实现job并发执行，该参数默认可以并发执行的job数为8。...
分类：
其他好文 时间：
2015-07-04 21:05:05
阅读次数：
378
