1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。.....
分类：
其他好文 时间：
2014-12-23 22:26:38
阅读次数：
169
1.HDFS的定义与特色以文件为基本存储单位的劣势：难以实现负载均衡——文件大小不同，负载均衡难实现；用户自己控制文件大小； 难以实现并行化处理——只能利用一个节点资源处理一个文件，无法动用集群资源；HDFS的定义：易于扩展的分布式文件系统；运行在大量廉价机器上，提供容错...
分类：
其他好文 时间：
2014-12-08 21:12:24
阅读次数：
268
C#5.0带来了并行编程{C#1.0托管代码→C#2.0泛型→C#3.0LINQ→C#4.0动态语言→C#5.0异步编程} 随着C#5.0在.net4.5出来之后，它们主推的并行技术也逐渐变得越来越热，这种热量已经传到了我这里，身为仓储大叔的我，一定也对自己的仓储进行并行化的改造，这是大势所趋，呵呵...
分类：
其他好文 时间：
2014-12-04 11:34:11
阅读次数：
167
Spark调优本文系根据官方文档翻译而来，转载请注明本文链接 http://www.oschina.net/translate/spark-tuning?print数据序列化内存优化确定内存用量调整数据结构序列化RDD存储垃圾收集调整其他考虑因素并行化水平Reduce任务的内存用量Broadcast...
分类：
Web程序 时间：
2014-11-24 09:56:40
阅读次数：
335
hadoop有两个东东：HDFS（存储）和MapReduce（计算）。MapReduce计算比较慢，于是Spark（速度是MR的10~100倍）出现了。Spark有两个核心的概念：弹性分布式数据集RDD与共享变量。下面进行一下简单的介绍。
弹性分布式数据集（RDD）获得方式：1
并行化驱动程序内的集合; 2
从外部数据集加载。
1 并行化驱动程序内的集合code demo
val d...
分类：
其他好文 时间：
2014-11-20 12:05:17
阅读次数：
296
1：AsParallel(并行化） 下面我们模拟给ConcurrentDictionary灌入1500w条记录，看看串行和并行效率上的差异，注意我的老爷机是2个硬件线程。 using?System;
using?System.Threading;
using?System.Threading....
分类：
其他好文 时间：
2014-11-14 12:45:12
阅读次数：
264
Java 8中同时存在面向对象编程(OOP)和函数式编程(FP, Functional Programming)这两种编程范式。实际上，这两种范式并不矛盾，只是着重点不同。在OOP中，着重于通过丰富的类型系统对需要解决的问题进行建模；而FP中则着重于通过高阶函数和Lambda表达式来完成计算。所以我们完全可以将这两者融合在一起，对问题提出更加优雅的解决方案。
在这篇文章中，会介绍如何通过函数...
分类：
编程语言 时间：
2014-11-06 10:58:09
阅读次数：
401
使用Condition Variables实现一个线程安全队列多线程代码需要面对的一个问题和是如何把数据从一个县城传到另一个县城。 举个栗子，一个常见的是把串行算法并行化方法是，把他们分成块并且做成一个管道。管道中任意一块都可以单独在一个线程里运行。每个阶段完成后添加数据到输入队列给下个阶段。Bas...
分类：
编程语言 时间：
2014-10-31 01:11:10
阅读次数：
570
前言用Mahout来构建推荐系统，是一件既简单又困难的事情。简单是因为Mahout完整地封装了“协同过滤”算法，并实现了并行化，提供非常简单的API接口；困难是因为我们不了解算法细节，很难去根据业务的场景进行算法配置和调优。本文将深入算法API去解释Mahout推荐算法底层的一些事。目录Mahout...
分类：
编程语言 时间：
2014-10-29 09:09:46
阅读次数：
331
在C/C++中使用OpenMP优化代码方便又简单，代码中需要并行处理的往往是一些比较耗时的for循环，所以重点介绍一下OpenMP中for循环的应用。个人感觉只要掌握了文中讲的这些就足够了，如果想要学习OpenMP可以到网上查查资料。
工欲善其事，必先利其器。如果还没有搭建好omp开发环境的可以看一下OpenMP并行程序设计——Eclipse开发环境的搭建
首先，如何使一段代码并行处理呢？omp中使用parallel制导指令标识代码中的并行段，形式为：
#pragma o...
分类：
其他好文 时间：
2014-10-22 22:09:02
阅读次数：
354
