总体来说，林对于random forest的讲解主要是算法概况上的；某种程度上说，更注重insights。林分别列举了Bagging和Decision Tree的各自特点：Random Forest就是这二者的结合体。1）便于并行化2）保留了C&RT的优势3）通过bagging的方法削弱了fully...
分类：
其他好文 时间：
2015-08-03 20:56:02
阅读次数：
523
并行的扩展
扩展1.
Parallel的使用:
在Parallel下面有三个常用的方法Invoke,For,ForEach
Parallel.Invoke()方法是最简单,最简洁的将串行的代码并行化.
在这里先说一点,就是Stopwatch的使用,Stopwatch到底是个什么东西,首先Stopwatch在命名空间System.Diagnostics中.
使用方法如下:
var St...
Amdahl's Law 程序可能的加速比取决于可以被并行化的部分。如果没有可以被并行化的部分，则P=0，speedup=1，no speedup。如果全部可以被并行化，P=1，speedup is infinite(in thecory)。可以获得无穷大的加速比。如果50%可以被并行化，max.....
分类：
其他好文 时间：
2015-08-02 19:38:36
阅读次数：
116
HBase是依赖Hadoop的数据存储系统，可以实现大数据(过亿条记录)的存储，进行并行化处理。在特定的场景下HBase有自己的用武之地。下面讲述如何进行伪分布模式安装1.设置环境变量我使用的HBase版本是hbase-0.94.7-security.tar.gz，安装在机器hadoop0的/usr...
分类：
其他好文 时间：
2015-07-30 23:08:26
阅读次数：
208
OpenMP 并行化处理测试#pragmaomp parallelfor这条语句是用来指定后面的for循环语句变成并行执行的,将for循环里的语句变成并行执行后效率会不会提高呢?还是测试一 下吧，测试的时候，循环最好大一些，增加计算量，不然程序耗时太短，很难区分。 1 #include 2 #...
分类：
其他好文 时间：
2015-07-21 20:25:03
阅读次数：
102
锁的开销锁的开销是巨大的，特别是对于多核多处理来讲。
引入多处理，本身就是为了将并行化处理以提高性能，然而由于存在共享临界区，而这个临界区同时只能有一个线程访问(特别是对于写操作)，那么本来并行的执
行流在这里被串行化了，形象地看，这里好像是宽阔马路上的一个瓶..
分类：
系统相关 时间：
2015-07-17 14:24:17
阅读次数：
180
锁的开销锁的开销是巨大的，特别是对于多核多处理来讲。 引入多处理，本身就是为了将并行化处理以提高性能，然而由于存在共享临界区，而这个临界区同时只能有一个线程访问(特别是对于写操作)，那么本来并行的执行流在这里被串行化了，形象地看，这里好像是宽阔马路上的一个瓶颈，由于串行化是本质上存在的，因此该瓶颈就是不可消除的。问题是线程执行流如何度过这个瓶颈，很显然，它们谁都绕不开，现在问题是是它们...
分类：
系统相关 时间：
2015-07-17 07:09:05
阅读次数：
183
自古就不乏还没有开始就结束的那种精彩，我称之为殉道者。InfiniBand就是其中之一，虽然它有陨落之势，我依然要为它鼓掌。如果说以太网旨在将主机联系在一起，那么InfiniBand的初衷就是将其肢解，这种基因的不同，注定它们将展开一场大战，当然这是后话。服务器强大了，但是PCI总线太慢了，且其并行化设计根本不适合高速环境，正确的做法是串行化，同时提高时钟频率，因为并行化根本就经不起时钟频率的提高...
分类：
其他好文 时间：
2015-07-11 01:06:53
阅读次数：
184
1 背景 图像连通域标记算法是从一幅栅格图像（通常为二值图像）中，将互相邻接（4邻接或8邻接）的具有非背景值的像素集合提取出来，为不同的连通域填入数字标记，并且统计连通域的数目。通过对栅格图像中进行连通域标记，可用于静态地分析各连通域斑块的分布，或动态地分析这些斑块随时间的集聚或离散，是图像处理.....
分类：
编程语言 时间：
2015-06-27 22:34:28
阅读次数：
190
1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。.....
分类：
其他好文 时间：
2015-06-26 20:59:01
阅读次数：
125
