0.前言 本系列文章记录笔者关于c语言多线程编程的学习过程 平台及相关环境：Windows；MinGW64；DevC++；cmd命令行；4 CPUs (硬件原因，没有选择Linux，原理应该差不多) 参考书籍：《并行程序设计导论》Peter S.Pacheco 著 邓倩妮 等译 以下程序理解不难，大 ...
分类：
编程语言 时间：
2020-03-23 16:55:34
阅读次数：
81
OpenMP是一种用于共享内存并行系统的多线程程序设计方案，支持的编程语言包括C、C++和Fortran。OpenMP提供了对并行算法的高层抽象描述，特别适合在多核CPU机器上的并行程序设计。编译器根据程序中添加的pragma指令，自动将程序并行处理，使用OpenMP降低了并行编程的难度和复杂度。当 ...
分类：
其他好文 时间：
2019-08-09 19:26:39
阅读次数：
121
如何编写并行程序？ 协调过程 并行系统的种类 并发计算、分布式计算 因此，并行程序和分布式程序都是并发的 MPI(消息传递接口) ...
分类：
其他好文 时间：
2019-07-08 13:26:16
阅读次数：
123
OpenMP基本概念OpenMP是一种用于共享内存并行系统的多线程程序设计方案，支持的编程语言包括C、C++和Fortran。OpenMP提供了对并行算法的高层抽象描述，特别适合在多核CPU机器上的并行程序设计。编译器根据程序中添加的pragma指令，自动将程序并行处理，使用OpenMP降低了并行编 ...
分类：
其他好文 时间：
2019-06-01 19:55:53
阅读次数：
105
近几年，业内对并行和并发积累了丰富的经验。有了较深刻的理解。但之前积累的大量教材，在当今的软硬件体系下。反而都成了负面教材。所以，有必要加强宣传，翻新大家的认知。 首先。天地倒悬，结论先行：当你须要并行时，优先考虑不须要线程间共享数据的设计，其次考虑共享Immutable的数据。最糟情况是共享Mut ...
分类：
其他好文 时间：
2019-03-17 21:27:04
阅读次数：
151
建议比对『MXNet』第七弹_多GPU并行程序设计 models/tutorials/image/cifar10/cifer10_multi_gpu-train.py ...
分类：
其他好文 时间：
2018-06-18 00:29:46
阅读次数：
463
资料原文 一、概述思路 假设一台机器上有k个GPU。给定需要训练的模型，每个GPU将分别独立维护一份完整的模型参数。 在模型训练的任意一次迭代中，给定一个小批量，我们将该批量中的样本划分成k份并分给每个GPU一份。 然后，每个GPU将分别根据自己分到的训练数据样本和自己维护的模型参数计算模型参数的梯 ...
分类：
Web程序 时间：
2018-05-26 01:16:44
阅读次数：
324
课题需要用到GPU加速。目前使用的台式电脑只有核心显卡，而实验室有一台服务器装有NVIDIA GTX980独显。因此，想搭建一个CUDA的开发环境，来实现在台式机上面开发cuda程序，程序在服务器而不必每次都跑去服务器上面。 目前找到的远程调试方案有三个: 1. Windows平台下，通过Nsigh ...
分类：
其他好文 时间：
2018-05-18 18:09:37
阅读次数：
340
入门见<并行程序设计(第四版)> 以yolo源码中的makefile文件为例 GPU=0 CUDNN=0 OPENCV=0 OPENMP=0 DEBUG=0 ARCH= -gencode arch=compute_30,code=sm_30 \ -gencode arch=compute_35,co ...
分类：
其他好文 时间：
2018-04-07 14:00:08
阅读次数：
328
1、Master-Worker模式 (1)、定义理解： Master-Worker是将串行处理，变为并行处理。有很多的Worker处理串行任务获得子结果集，那么需要个Master来处理这些子结果集，获取和串行相同的结果集。 (2)、角色有 Worker:工作者，处理单个任务。 Master：老板，任 ...
分类：
其他好文 时间：
2017-10-07 23:36:58
阅读次数：
425
