一、MPP,SMP,NUMA概念介绍1.1、MPP架构介绍MPP (Massively Parallel Processing)，大规模并行处理系统，这样的系统是由许多松耦合的处理单元组成的，要注意的是这里指的是处理单元而不是处理器。每个单元内的CPU都有自己私有的资源，如总线，内存，硬盘等。在每个...
分类：
其他好文 时间：
2015-09-13 13:18:46
阅读次数：
157
最近在研究Paramiko，Paramiko可以非常方便的实现基于SSH协议的远程连接，可以基于口令，也可以无口令RSA非对称密钥，亦可以实现SFTP上传下载操作，安全高效，再结合多进程或者是多线程就可以实现并行处理，写了一个简单的SFTP基于Key多进程批量并发上传文件的实现案例，供以后..
分类：
编程语言 时间：
2015-09-04 22:38:12
阅读次数：
393
作者：朱金灿来源：http://blog.csdn.net/clever101 一个分布式计算系统的硬件应该如何配置？个人愚见，应该根据分布式计算的计算类型来配置。分布式并行处理系统从磁盘I/O角度可以分为弱I/O和强I/O两种。一般的互联网大数据分析为弱I/O，这样存储可以采用分布式存储，具体为一个计算节点上挂一个大硬盘，典型例子为阿里云。架构图如下： 上图展示了...
分类：
其他好文 时间：
2015-08-31 23:40:00
阅读次数：
233
MTS模式：一个Dispatch进程专门处理处理Client Connection Request，进行排队，由后台多个Shared Server并行处理排队的请求。所以如果存在Client Request请求处理耗时过长，则整体处理效率就会下降。Dedicated模式：会为每个Client Con...
分类：
数据库 时间：
2015-08-31 11:38:53
阅读次数：
603
Mapreduce 是谷歌提出的一个分布式计算框架， 利用该框架， 能够让用户方便地利用多机并行处理数据。 该框架有两个重要的函数： Map 和 Reduce， Map 函数对整个输入数据进行处理， 按照用户定义的处理方式， 从输入的数据中产生中间键值对（ key， value）。Reduce 函数对这些键值对进行处理， 相同 key 的键值...
分类：
编程语言 时间：
2015-08-25 21:44:34
阅读次数：
227
因为优化器可能会选择并行处理，或者在多文件情况下不按“期待”顺序扫描数据，所以无法保证数据的顺序。唯一能确保顺序的只有orderby。 并行处理的过程导致顺序不一致，单核上不存在并行，而双核，可能使用并行的机会及其少，多核的服务器上结果集顺序每次都可能不同。（转自 http://bbs.csd...
分类：
数据库 时间：
2015-08-21 23:07:47
阅读次数：
154
OpenWorker，欢迎参与：https://github.com/supergis/OpenWorker。 OpenWorker是基于Python的并行处理框架，将集成Celery、Flower、Jobtastic和Rodeo工程，可以通过控制台或Web进行管理、提交任务等。 Celery 是一...
分类：
其他好文 时间：
2015-08-10 18:20:34
阅读次数：
282
RDD是什么？
RDD是Spark中的抽象数据结构类型，任何数据在Spark中都被表示为RDD。从编程的角度来看，RDD可以简单看成是一个数组。和普通数组的区别是，RDD中的数据是分区存储的，这样不同分区的数据就可以分布在不同的机器上，同时可以被并行处理。因此，Spark应用程序所做的无非是把需要处理的数据转换为RDD，然后对RDD进行一系列的变换和操作从而得到结果。本文为第一部分，将介绍S...
0.引言 本文记载了CUDA的学习过程~刚开始接触GPU相关的东西，包括图形、计算、并行处理模式等，先从概念性的东西入手，然后结合实践开始学习。CUDA感觉没有一种权威性的书籍，开发工具变动也比较快，所以总感觉心里不是很踏实。所以本文就是从初学者的角度，从无知开始探索的过程。当然在学习过程中避免不了...
分类：
其他好文 时间：
2015-07-30 00:31:07
阅读次数：
287
并发在于结构，并行在于执行
程序：本文所说的程序是指为了完成某个具体任务，而开发的一套软件，其微观动态上可以是（一组进程，多个线程，或者是一组协程执行体）
并行就是在任一粒度的时间内都具备同时执行的能力：最简单的并行就是多机，多台机器并行处理；SMP表面上看是并行的，但是由于是共享内存，以及线程间的同步等，不可能完全做到并行；
并发是在规定的时间粒度内多个请求都得到执行和处理...
分类：
其他好文 时间：
2015-07-29 14:13:40
阅读次数：
124
