Spark最初由美国加州伯克利大学的AMP实验室于2009年开发，是基于内存计算的大数据并行计算框架，可用于构建大型的、低延迟的数据分析应用程序。 Spark特点Spark具有如下几个主要特点： 运行速度快：Spark使用先进的DAG（Directed Acyclic Graph，有向无环图）执行引 ...
分类：
其他好文 时间：
2020-02-11 13:16:04
阅读次数：
109
MapReduce简介MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义： 1）MapReduce是一个基于集群的高性能并行计算平台（Cluster Infrastructure）。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。 ...
分类：
其他好文 时间：
2019-12-07 01:25:25
阅读次数：
158
1 多GPU原理 单GPU时，思路很简单，前向、后向都在一个GPU上进行，模型参数更新时只涉及一个GPU。 多GPU时，有模型并行和数据并行两种情况。 模型并行指模型的不同部分在不同GPU上运行。 数据并行指不同GPU上训练数据不同，但模型是同一个（相当于是同一个模型的副本）。 TensorFlow ...
分类：
其他好文 时间：
2019-08-27 21:17:35
阅读次数：
142
RAID 0连续以位或字节为单位分割数据，并行读/写于多个磁盘上，因此具有很高的数据传输率，但它没有数据冗余，因此并不能算真正的RAID结构。RAID 0至少需要两块以上大小相同的硬盘，它将两块以上的硬盘合并成一块，数据连续地分割在每块盘上。容量为所有硬盘的总和。RAID 0只是单纯地提高性能，并没有为数据的可靠性提供保证，而且其中的一个磁盘失效将影响到所有数据，因此不能应用于数据安全性要求高的场合。
分类：
其他好文 时间：
2019-08-22 20:35:08
阅读次数：
116
1.DataParallel layers (multi-GPU, distributed) 1）DataParallel 实现模块级别的数据并行 该容器是通过在batch维度上将输入分到指定的device中来在给定的module应用上实现并行。在前向传播中，模块module将在每个设备device ...
分类：
其他好文 时间：
2019-08-01 20:12:16
阅读次数：
553
阅读文章：京东虚拟业务多维订单系统架构设计 文章网址：https://mp.weixin.qq.com/s?__biz=MzU1MzE2NzIzMg==&mid=2247486428&idx=1&sn=382f9d307073839f7900df7168916cf1&chksm=fbf7bb33cc ...
分类：
其他好文 时间：
2019-06-17 20:14:55
阅读次数：
124
:国家电网公司在2019年3月7日发布了泛在电力物联网建设大纲，对于电力物联网的建设和发展进行了工作部署。根据文件内容，通过三年攻坚，到2021年初步建成泛在电力物联网；通过三年提升，到2024年建成泛在电力物联网。本文以大纲中提供的信息来分析泛在电力物联网的架构形式。 泛在电力物联网的架构形式同其 ...
分类：
其他好文 时间：
2019-03-25 16:14:46
阅读次数：
136
RAID：独立冗余磁盘阵列提高IO能力：磁盘并行读写：提高耐用性：磁盘冗余来实现RAID级别：多块磁盘组织在一起的工作方式有所不同;RAID实现的方式：外接式磁盘阵列：通过扩展卡提供适配能力内接式RAID:主板集成RAID控制器softwareRAID:RAID级别：RAID-0:读，写性能提升无容错能力最少磁盘数：2，2+RAID0:连续以位或字节为单位分割数据，并行读/写于多个磁盘上，因此具有
分类：
系统相关 时间：
2019-03-06 22:00:34
阅读次数：
202
1 OLTP和OLAP online transaction processing，联机事务处理。业务类系统主要供基层人员使用，进行一线业务操作，通常被称为联机事务处理。 online analytical processing，联机分析处理。数据分析的目标是探索并挖掘数据的价值，作为企业高层进行决 ...
分类：
其他好文 时间：
2018-12-11 14:28:54
阅读次数：
187
可选择：数据并行处理（文末有完整代码下载） 作者：Sung Kim?和?Jenny Kang 在这个教程中，我们将学习如何用 DataParallel 来使用多 GPU。 通过 PyTorch 使用多个 GPU 非常简单。你可以将模型放在一个 GPU： device = torch.device(" ...
分类：
其他好文 时间：
2018-12-11 13:01:08
阅读次数：
173
