LZO压缩，可分块并行处理，解压缩的效率也是可以的。为了配合部门hadoop平台测试，作者详细的介绍了如何在Hadoop平台下安装lzo所需要软件包：gcc、ant、lzo、lzo编码/解码器并配置lzo的文件：core-site.xml、mapred-site.xml。希望对大家有所帮助。以下是正...
分类：
其他好文 时间：
2014-07-17 22:01:19
阅读次数：
876
三种MPM介绍 Apache2.X支持插入式并行处理模块，称为多路处理模块（MPM）。在编译apache时必须选择也只能选择一个MPM，对类UNIX系统，有几个不同的MPM可供选择，它们会影响到apache的速度和可伸缩...
分类：
其他好文 时间：
2014-07-09 17:41:07
阅读次数：
227
Hadoop分布式平台的大数据解决方案
讲师：迪伦
对这个课程有兴趣的可以加我qq2059055336联系我
1 课程背景
GREENPLUM适用场景
Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中，每个 SMP 节点也可以运行自己的操作系统、数据库等，它的特点主要就是查询速度快，数据装载速度快，批量DML处理快。而且性能可以随着硬件的添加，呈线性增加...
分类：
其他好文 时间：
2014-07-09 11:36:26
阅读次数：
205
我在梦中想到超级计算机是超算电脑，采用大量阵列cpu和内存，完成并发计算。有个手机厂家提供服务因为使用普通机器，导致经常宕机，其实铁道部火车网络售票就是。
因为不能采用云服务，上万台计算机并行处理，所以处理能力是不够的。
于是我设计了一台电脑，主板上再插上几个小主板，小主板上有cpu,内存，固态存储等，大小跟光驱差不多，插上4个，8个，16个，完成阵列计算，通过操作系统分配计算到阵列上，从而高...
分类：
其他好文 时间：
2014-07-08 18:09:17
阅读次数：
219
GPU代表的是图形处理单元，但是，这些小小芯片除了处理图形功能，还有其它用处。比如，Google使用GPU来为人脑建模，Salesforce则依赖GPU分析Twitter微博数据流。GPU很适合并行处理运算，也就是同时执行成千上万个任务。怎么做呢？你得开发一个新软件，让它挖掘GPU芯片的潜力。最近美...
分类：
系统相关 时间：
2014-07-07 21:38:17
阅读次数：
271
欢迎转载，转载请注明出处，徽沪一郎。概要图的并行化处理一直是一个非常热门的话题，这里头的重点有两个，一是如何将图的算法并行化，二是找到一个合适的并行化处理框架。Spark作为一个非常优秀的并行处理框架，将一些并行化的算法移到其上面就成了一个很自然的事情。Graphx是一些图的常用算法在Spark上的...
分类：
其他好文 时间：
2014-07-07 14:11:44
阅读次数：
391
Golden Gate（简称OGG）提供异构环境下交易数据的实时捕捉、变换、投递。
OGG支持的异构环境有：
OGG的特性：
对生产系统影响小：实时读取交易日志，以低资源占用实现大交易量数据实时复制
以交易为单位复制，保证交易一致性：只同步已提交的数据
高性能
智能的交易重组和操作合并
使用数据库本地接口访问
并行处理体系
灵活的拓扑结构：支持一对...
分类：
数据库 时间：
2014-06-24 20:33:56
阅读次数：
288
何时使用 Parallel.ForEach，何时使用 PLINQ...
分类：
其他好文 时间：
2014-06-18 07:02:28
阅读次数：
194
（1）定义：
多处理机属于多指令流多数据流系统。它由多个独立的处理机组成，每个处理机都能独立执行自己的程序。
（2）对比：
让我们对并行处理机和多处理机做一个对比。对于并行处理机并行性存在于指令内部，实现操作级的并行（单指令流多数据流）。而多处理机的并行性存在于指令外部，表现于多个任务间的并行。
（3）硬件结构分类：
多处理机在硬件结构上分为紧耦合多处理机和松耦合多处理机...
分类：
其他好文 时间：
2014-06-15 11:03:53
阅读次数：
306
图的并行化处理一直是一个非常热门的话题，这里头的重点有两个，一是如何将图的算法并行化，二是找到一个合适的并行化处理框架。Spark作为一个非常优秀的并行处理框架，将一些并行化的算法移到其上面就成了一个很自然的事情。Graphx是一些常见图算法在Spark上的并行化实现，同时提供了丰富的API接口。本...
分类：
其他好文 时间：
2014-06-12 21:33:34
阅读次数：
427
