GraphX是Spark中用于图和图并行计算的API,可以认为是GraphLab(C++)和Pregel(C++)在Spark(Scala)上的重写及优化，跟其他分布式图计算框架相比，GraphX最大的贡献是，在Spark之上提供一栈式数据解决方案，可以方便且高效地完成图计算的一整套流水作业。
分类：
其他好文 时间：
2014-07-05 16:50:56
阅读次数：
210
在Spark是一种计算框架，在Spark环境下，不仅支持操作单机文件，HDFS文件，同时也可以用Spark对Hbase操作。
企业中数据源会从HBase取出，这就涉及到了读取hbase数据，本文为了尽可能的让大家能尽快实践和操作Hbase，使用的是Spark Shell 来进行Hbase操作。
一、环境：
Haoop2.2.0
Hbase版本0.96.2-hadoop2, r158109...
分类：
其他好文 时间：
2014-07-01 09:29:54
阅读次数：
499
2004年Google发表了一篇非常具有影响力的论文向全世界介绍了MapReduce框架，该框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。时至今日，MapReduce已经成为并行分布式计算领域的一个高度流行的基础设施和编程模型，它是Apache Hadoop的基...
分类：
其他好文 时间：
2014-07-01 00:21:41
阅读次数：
320
Java7语法新特性：前言，这是大部分的特性，但还有一些没有写进去，比如多核 并行计算的支持加强 fork join 框架；这方面并没有真正写过和了解。也就不写进来了。1. switch中增加对String类型的支持。Java代码 public String generate(String name, String gender) {
String title = ""...
分类：
编程语言 时间：
2014-06-19 10:55:23
阅读次数：
336
冯·诺伊曼结构（von Neumann
architecture），也称普林斯顿结构，是一种将程序指令存储器和数据存储器合并在一起的计算机设计概念结构。本词描述的是一种实现通用图灵机的计算设备，以及一种相对于并行计算的串行式结构参考模型（referential
model）。此结构隐约指导了将存储设...
分类：
其他好文 时间：
2014-06-13 16:32:39
阅读次数：
235
1.一种并行计算的多线程编程模型2.开始--任务分割--多线程异步执行---任务合并--阻塞等待合并结果。（分治算法）3.work-stealing算法：
每个线程维护一个各自的双端的链表，有新任务时之间插入的前端优先执行，前端无任务时，窃取其他线程双端链表的任务加入到自己的尾端进行处理。 通常.....
分类：
其他好文 时间：
2014-06-08 21:28:47
阅读次数：
357
概述
我将分四步来带大家研究研究程序的并发计算。第一步是基本的串行程序，然后使用GCD把它并行计算化。如果你想顺着步骤来尝试这些程序的话，可以下载源码。注意，别运行imagegcd2.m，这是个反面教材。。
imagegcd.zip (8.4
KB, 79 次)
原始程序
我们的程序只是简单地遍历~/Pictures然后生成缩略图。这个程序是个命令行程序，...
分类：
其他好文 时间：
2014-06-08 15:40:43
阅读次数：
244
从多任务OS开始，线程主要用来表示IO异步；而今随着4G和多核等的到来，计算密集型又热门起来了。
硬件价格和性能从低到高：
PC/Laptop multi core, memory shared
PC clusters
SuperComputers
假设一个理想并行计算机：每个处理器计算能力相同，忽略调度，
static thread 是对一个虚拟处理器的软件层面的抽象;
s...
分类：
其他好文 时间：
2014-05-21 08:17:39
阅读次数：
326
