Spark GraphX宝刀出鞘，图文并茂研习图计算秘笈 大数据的概念与应用，正随着智能手机、平板电脑的快速流行而日渐普及，大数据中图的并行化处理一直是一个非常热门的话题。图计算正在被广泛地应用于社交网络、电子商务，地图等领域。对于图计算的两个核心问题：图存储模式和图计算模型，Spark Graph...
分类：
其他好文 时间：
2014-08-29 17:55:48
阅读次数：
338
由于单台机器的计算能力和I/O能力已经无法满足不断增长的数据处理需求，越来越多的组织需要将应用扩展到更大规模的集群上。但在集群环境中，可编程性方面将遇到以下几个挑战：
并行编程问题；为了将应用并行化，需要并行编程模型的支撑。
容错和慢节点问题；当集群规模相当大时，这个问题也是非常严重的。
多用户共享集群要求能具备弹性计算的能力，此外还要考虑干扰问题。
结果就是出现了很多编程模型，首先是MapReduce使数据批处理变得简单通用同时能处理容错。但很难处理其它类型的负载，于是就出现了各种各样专用的编程模型：
...
分类：
其他好文 时间：
2014-08-06 19:28:12
阅读次数：
285
Matlab的parfor并行编程
通常消耗最多计算资源的程序往往是循环。把循环并行化，或者优化循环体中的代码是最常用的加快程序运行速度的思路。Matlab提供了parfor关键字，可以很方便的在多核机器或集群上实现并行计算。
parfor关键字的使用
由for关键字引导的循环通常为串行运行，如果改为parfor则可以由多个worker以并行方式执行。parfor可以将n次循环分解为...
分类：
其他好文 时间：
2014-07-29 14:52:18
阅读次数：
257
1.4.3 编写有效的并行程序
函数式编程可以更方便编写并行程序，这可能是你打算阅读这本书的原因。在本节，我们将用几个示例来演示函数式程序如何使并行更容易。在前两个示例中，我们将使用 Parallel Extensions to .NET（.NET 的并行扩展），这是微软的一项新技术，用于编写并行化的应用程序，是 .NET 4.0 的一部分。如你所料，ParallelExtensions...
分类：
其他好文 时间：
2014-07-28 16:14:54
阅读次数：
202
1.4.3.1 并行化不可变程序
首先，让我们再看看清单 1.8，这是两段以函数方式写的游戏代码。在第一段，第二行用到了第一行的结果（运动后怪物的状态）。由于使用了不可变类，它没有给我们任何空间引入并行机制。
第二段代码的两行是独立的。我们刚才说过，用函数式编程，独立的程序部分能够并行。现在，我们发现，不可变性对于找出哪些部分程序是独立的，是一个好方法。即使我们不知道任何细节，也可以看出...
分类：
其他好文 时间：
2014-07-28 15:46:43
阅读次数：
183
欢迎转载，转载请注明出处，徽沪一郎。概要图的并行化处理一直是一个非常热门的话题，这里头的重点有两个，一是如何将图的算法并行化，二是找到一个合适的并行化处理框架。Spark作为一个非常优秀的并行处理框架，将一些并行化的算法移到其上面就成了一个很自然的事情。Graphx是一些图的常用算法在Spark上的...
分类：
其他好文 时间：
2014-07-07 14:11:44
阅读次数：
391
HBase是依赖Hadoop的数据存储系统，可以实现大数据(过亿条记录)的存储，进行并行化处理。在特定的场景下HBase有自己的用武之地。下面讲述如何进行伪分布模式安装1.设置环境变量我使用的HBase版本是hbase-0.94.7-security.tar.gz，安装在机器hadoop0的/usr...
分类：
其他好文 时间：
2014-06-28 09:46:59
阅读次数：
266
才学疏浅，只言片语，只求志同道的朋友一起交流研究。
并行化不算是算法的改进，只是追求运行的实时性。
简要列举一个例子：
TLD算法的C++版本源码里：
LKTracker::trackf2f(const Mat& img1, const Mat& img2,vector &points1, vector &points2){
bool LKT...
分类：
其他好文 时间：
2014-06-26 07:33:40
阅读次数：
183
并行化频繁模式挖掘算法FP Growth及其在Mahout下的命令使用...
分类：
其他好文 时间：
2014-06-18 06:35:13
阅读次数：
186
systemd是Linux下的系统和服务管理器，兼容SysV和LSB的启动脚本。对于systemd有以下特性：支持并行化任务、同时采用socket和D-BUS总线式激活服务、按需启动相应的守护进程、利用Linux的cgroup监控进程、支持快照和系统恢复、维护挂载点和自动挂载点，各服务间基于依赖关系进行..
分类：
其他好文 时间：
2014-06-16 15:25:12
阅读次数：
377
