大数据实战（上） # MapReduce原理介绍 大纲： * Mapreduce介绍 * MapReduce2运行原理 * shuffle及排序 定义 * Mapreduce 最早是由google公司研究提出的一种免息nag大规模数据处理的并行计算模型和方法。是hadoop面向大数据并行处理的计算模 ...
分类：
其他好文 时间：
2016-08-01 08:01:52
阅读次数：
176
Postgres-XL 是一个完全满足ACID的、开源的、可方便进行水平扩展的、多租户安全的。支持share-nothing;支持海量数据并行处理-MPP(Massively Parallel Processing)。是不是跟 greenplum很相似。 主机分配 3台主机，安装centos6.2。 ...
分类：
其他好文 时间：
2016-07-06 13:21:57
阅读次数：
747
分布式数据并行环境下，保持数据的本地性是非常重要的内容，事关分布式系统性能高下。 概念： block ： HDFS的物理空间概念，固定大小，最小是64M，可以是128,256 。。也就是说单个文件大于block的大小，肯定会被切分，被切分的数目大概是：比如文件是250M，block是64M，就会被分 ...
分类：
其他好文 时间：
2016-07-05 13:55:58
阅读次数：
163
菜鸟学习并行编程，参考《C#并行编程高级教程.PDF》，如有错误，欢迎指正。 背景 基于任务的程序设计、命令式数据并行和任务并行都要求能够支持并发更新的数组、列表和集合。 在.NET Framework 4 以前，为了让共享的数组、列表和集合能够被多个线程更新，需要添加复杂的代码来同步这些更新操作。 ...
17.1 大型数据集的学习 17.2 随机梯度下降法 17.3 微型批量梯度下降 17.4 随机梯度下降收敛 17.5 在线学习 17.6 映射化简和数据并行 17.1 大型数据集的学习 17.2 随机梯度下降法 17.3 微型批量梯度下降 17.4 随机梯度下降收敛 17.5 在线学习 17.6 ...
分类：
系统相关 时间：
2016-04-28 00:14:37
阅读次数：
301
RenderScript
RenderScript是在Android上的高性能运行计算密集型任务的框架。 RenderScript主要面向与数据并行计算的使用，虽然串行计算密集型工作负载可以受益。该RenderScript运行时将并行工作过这种多核的CPU，GPU或DSP设备上所有可用的处理器，让您专注于表达的算法，而不是安排工作或负载平衡。 RenderScript是用于进行图像处理，计算摄影...
分类：
移动开发 时间：
2016-04-19 12:30:21
阅读次数：
255
命令式数据并行 Visual C# 2010和.NETFramework4.0提供了很多令人激动的新特性，这些特性是为应对多核处理器和多处理器的复杂性设计的。然而，因为他们包括了完整的新的特性，开发人员和架构师必须学习一种新的编程模型。 这一章是一些新的类、结构体和枚举类型，你可以使用这里来处理数据 ...
分类：
Windows程序 时间：
2016-03-28 18:29:58
阅读次数：
1522
并行编程从业务实现的角度可分为数据并行与任务并行，也就是要解决的问题是以数据为核心还是以要处理的事情为核心。基于任务的并行编程模型TPL(任务并行库)是从业务角度实现的并行模型，它以System.Threading.Tasks命名空间下的Parallel类为实现核心类，优点是不需要我们考虑不同的硬件
分类：
其他好文 时间：
2016-02-14 15:25:03
阅读次数：
189
MIC性能优化 MIC优化方法： --并行度优化 --内存管理优化 --数据传输优化 --存储器访问优化 --向量化优化 --负载均衡优化 --MIC线程扩展性优化 一：并行度优化 要保证有足够的并行度，效果才能好（数据并行，任务并行） 优化步骤： 1.写OpenMP程序 2.测试他的扩展性，比如用
分类：
其他好文 时间：
2016-02-11 20:21:02
阅读次数：
272
菜鸟学习并行编程，参考《C#并行编程高级教程.PDF》，如有错误，欢迎指正。目录C#并行编程-相关概念C#并行编程-ParallelC#并行编程-TaskC#并行编程-并发集合C#并行编程-线程同步原语C#并行编程-PLINQ:声明式数据并行背景基于任务的程序设计、命令式数据并行和任务并行都要求能够...
