并发（英文Concurrency），其实是一个很泛的概念，字面意思就是“同时做多件事”，不过方式有所不同。在.NET的世界里面，处理高并发大致有以下几种方法： 1，异步编程 异步编程就是使用future模式（又称promise）或者回调机制来实现（Non-blocking on waiting）。如 ...
分布式梯队下降 并行模型 模型并行（model parallelism）： 分布式系统中的不同机器（GPU/CPU等）负责网络模型的不同部分———例如，神经网络模型的不同网络层被分配到不同的机器，或者同一层内部道德不同参数被分配到不同机器。 数据并行（data parallelism）: 不同的机器... ...
分类：
其他好文 时间：
2018-10-26 22:08:56
阅读次数：
243
Docker 技术是教你运用容器，而 Kubernetes 技术是更善于管理容器，这款由 Google 首发的容器配置工具正在进入一些容器相关的解决方案和服务领域，包括由 Amazon（亚马逊）、Microsoft Azure（微软云）和谷歌云平台提供的容器服务。 http://os.51cto.c ...
分类：
其他好文 时间：
2018-10-09 23:53:55
阅读次数：
255
1、请简要介绍一下Hadoop、Spark、MPI三种计算框架的特点以及分别适用什么样的场景？ Hadoop：基于分布式文件系统HDFS的分布式批处理计算框架，适用于数据量大、SPMD（单程序多数据）的应用 Spark：基于内存计算的并行计算框架，适用于需要迭代多轮计算的应用 MPI：基于消息传递的 ...
分类：
其他好文 时间：
2018-08-21 21:10:07
阅读次数：
194
硬件 —— 数字电路、集成电路、存储器、各种硬件设计和验证方法等。 系统 —— 计算机架构（指令集、串/并行、网格、云端之类）、嵌入式、实时系统等。 软件 —— 操作系统、虚拟机、编程语言、软件设计/开发/验证的工具和方法论等。 网络 —— 计算机网络的架构、协议、组件、路径算法、性能分析等。 计算 ...
分类：
其他好文 时间：
2018-08-17 00:41:32
阅读次数：
183
为什么查询速度会慢 慢查询基础：优化数据访问 确认应用程序是否在检索大量超过需要的数据，这通常意味着访问了太多的行，但有时候也可能是访问了太多的列 查询不需要的数据 多表关联时返回全部列 总是取出全部列 重复查询相同的数据 确认mysql服务器层是否在分析大量超过需要的数据行 衡量查询开销的三个指标 ...
分类：
数据库 时间：
2018-06-19 10:32:28
阅读次数：
226
1、foreachRDD设计模式 正确使用foreachRDD的方式，每一个分区创建一个单例connection对象。 2、并行机制 数据并行接收，以kafka为例，从多个topics接收数据。 数据并行处理 和spark.default.parallelism有关。 3、提交Jobs Driver ...
分类：
其他好文 时间：
2018-05-24 18:07:05
阅读次数：
165
一、磁盘阵列（RedundantArraysofInexpensiveDisks，RAID），利用数组方式来组合成一个大型的磁盘组，提升整个磁盘系统稳定性和存储速度。1、RAID0：RAID0连续以位或字节为单位分割数据，并行读/写于多个磁盘上。速度快，无冗余，容量无损失，至少需要2块磁盘。2、RAID1：它是通过磁盘数据镜像实现数据冗余，在成对的独立磁盘上产生互为备份的数据。有冗余，速度无提高，
分类：
其他好文 时间：
2018-03-27 21:07:03
阅读次数：
203
负载均衡 将大量的并发访问或数据流量分担到多台设备上分别处理，将单个负载的运算分担到多台设备上并行处理，最终将处理结果汇总返回给用户。 下载Windows版本 http://nginx.org/en/download.html 集群案例 通过IIS+Nginx实现 有两个web 项目，部署在同一台机 ...
分类：
其他好文 时间：
2018-01-19 22:19:52
阅读次数：
194
