对于来自JavaScript编码者来说，异步编程不是什么新东西，但对于Python开发者来说，async函数和future(类似JS的promise)可不是那么容易能理解的。 Concurrency vs Parallelism Concurrency和Parallelism听起来一样，但在实际编程 ...
分类：
编程语言 时间：
2019-01-16 13:09:11
阅读次数：
535
val conf = new SparkConf().setAppName("WordCount_groupBy").setMaster("local") // .set("spark.default.parallelism", "100") // 1. 调节并行度 .set("spark.exec... ...
分类：
其他好文 时间：
2019-01-08 19:20:41
阅读次数：
157
本文基于Spark 2.1.0版本 新手首先要明白几个配置： spark.default.parallelism：（默认的并发数） 如果配置文件spark-default.conf中没有显示的配置，则按照如下规则取值： 本地模式（不会启动executor，由SparkSubmit进程生成指定数量的线 ...
分类：
其他好文 时间：
2018-12-27 03:14:26
阅读次数：
145
SSH.NET is a Secure Shell (SSH) library for .NET, optimized for parallelism. 【从nuget中下载SSH.NET】 摘自 http://www.cnblogs.com/cbread/p/6202069.html ...
SIMD指令集 from：https://zhuanlan.zhihu.com/p/31271788 SIMD，即Single Instruction, Multiple Data，一条指令操作多个数据．是CPU基本指令集的扩展．主要用于提供fine grain parallelism，即小碎数据的 ...
分类：
其他好文 时间：
2018-11-07 11:17:02
阅读次数：
1647
From the answer here, spark.sql.shuffle.partitions configures the number of partitions that are used when shuffling data for joins or aggregations. sp ...
分类：
数据库 时间：
2018-10-30 12:09:31
阅读次数：
350
分布式梯队下降 并行模型 模型并行（model parallelism）： 分布式系统中的不同机器（GPU/CPU等）负责网络模型的不同部分———例如，神经网络模型的不同网络层被分配到不同的机器，或者同一层内部道德不同参数被分配到不同机器。 数据并行（data parallelism）: 不同的机器... ...
分类：
其他好文 时间：
2018-10-26 22:08:56
阅读次数：
243
名词解释并发（Concurrency）与并行（Parallelism）并发偏重于多个任务交替执行，而多个任务之间有可能存在还是串行的;并行是真正意义上的同时执行;如果只有一个cpu是不可能真实并行的。临界区共享资源死锁（Deadlock）、饥饿（Starvation）和活锁（Livelock）死锁:多个线程之间相互出现等锁释放的场景,长期处于饥饿状态;饥饿:是指某一个或多个线程因为种种原因无法获得
分类：
其他好文 时间：
2018-10-23 18:01:51
阅读次数：
165
job.yml apiVersion: batch/v1kind: Jobmetadata: name: myjobspec: completions: 6 parallelism: 2 template: metadata: name: myjob spec: containers: - name ...
分类：
其他好文 时间：
2018-10-01 01:07:05
阅读次数：
163
在执行程序时为了提高性能，编译器和处理器常常会对指令做重排序。重排序分三种类型： 编译器优化的重排序。编译器在不改变单线程程序语义的前提下，可以重新安排语句的执行顺序。 指令级并行的重排序。现代处理器采用了指令级并行技术（Instruction-Level Parallelism， ILP）来将多条 ...
分类：
编程语言 时间：
2018-08-22 20:40:50
阅读次数：
251
