Jenkins Pipeline 有两种写法： Declare 以及 Script，前一种使用了大量Jenkins基于Groovy实现的DSL，使用起来相对有限制；后一种可以很好的在Jenkinsfile 中是用Groovy语句。 下面记录Script模式下常见的一些注意点： 1. 如何退出当前的b ...
分类：
其他好文 时间：
2020-10-30 11:35:00
阅读次数：
23
任务Task与线程Thread不可比。Task是为了利用多CPU多核的机制而将一个大任务不断分解成小任务，这些任务具体由哪一个线程或当前线程执行由OS来决定。如果你想自己控制由哪一个Thread执行，要么自己定议task的scheduling, 要么自己来创建Thread来执行代码。 1）task是 ...
1 InputFormat数据输入 1.1 切片与MapTask并行度决定机制 1．问题引出 MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。 思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高 ...
分类：
其他好文 时间：
2020-07-17 09:35:30
阅读次数：
65
GPU vs CPU GPU： GPU比CPU有更多的核，但是单个核运行很慢，它们之前其实是相互合作而不是单独运行，所以不能直接以cores to cores这样直接比较。 优点是，因为有更多的核，所以在做并行任务，且本质相近的事务时，GPU的处理能力很棒 ...
分类：
其他好文 时间：
2020-05-26 12:28:20
阅读次数：
68
多任务 多任务含义： 生活中：一边听歌，一边跳舞 ，开车手操控方向盘，眼睛看路，脚踩油门 电脑：同时运行多个应用程序，例如qq,微信，浏览器同时在电脑上运行 并发和并行 并发：任务数大于核心数，通过操作系统调度算法实现多个任务“同时”执行，实际上是通过快速切换任务，看上去是一起执行的 并行：任务数小 ...
分类：
编程语言 时间：
2020-05-15 18:33:24
阅读次数：
69
一、Hive-sql优化 #增加reducer任务数量（拉取数量分流） set mapred.reduce.tasks=20; #在同一个sql中的不同的job是否可以同时运行,默认为false set hive.exec.parallel=true; #增加同一个sql允许并行任务的最大线程数 s ...
分类：
数据库 时间：
2020-05-11 01:21:52
阅读次数：
80
目标 通过 Python 的多线程、多进程等手段并发执行下载音频文件 MP3文本信息 只拿出几行作为例子显示，实际还有更多信息 并行任务 concurrent.futures.ThreadPoolExecutor 多线程 threading 多进程 multiprocessing ...
分类：
其他好文 时间：
2020-04-07 12:35:06
阅读次数：
93
一、并发和并行 并发：任务数>CPU核数，通过系统的各任务调度算法，来回切换，实现多个任务“一起”运行，实际上不是真正同时一起运行，只是切换运行的速度相当快，看上去是一起执行的而已； 并行：任务数<=CPU核数，是真正的一起同时运行。 同步：同步是指代码调用IO操作时，必须等待IO操作完成返回才调用 ...
分类：
编程语言 时间：
2020-02-10 09:50:50
阅读次数：
73
并发编程的本质是全局上下文和调度执行的管理。 并发编程实际上是一个运行时复杂系统的管理工具。 并行任务的全局上下文和全局目标的管理； 乱序执行的多个任务达到一致的执行结果。 管理： 任务管理； 上下文管理（资源）； 整体目标管理； 数据结构＋算法 数据、资源、状态 工作组 执行控制 执行流、任务。 ...
分类：
其他好文 时间：
2020-02-05 11:39:16
阅读次数：
69
1、通常意义上，函数里所有需要任务去维护并用来计算结果的数据都属于任务的状态。比如 +1的算子，中间结果就是状态。 2、状态有两种， 算子状态：作用域是某个算子任务，所有在同一个并行任务之内的记录都能访问到相同的状态。算子状态不能通过其他任务访问。 健值分区状态： 3、有状态的流式应用的一致性检查点 ...
分类：
其他好文 时间：
2020-02-01 16:25:23
阅读次数：
71
