第十四章 并行函数程序本章介绍■ 用不可变数据简化并行化（parallelization）
■ 处理任务并行库（Task Parallel library）
■ 用 LINQ 以声明方式表达并行度（parallelism）
■ 实现重载（overloaded）运算符赞成函数式编程的论据，我们已经看到许多。原因之一就是，并行度现在变得越来越重要。写可以适应大量核心的代码，与使用典型的命令式方法相...
分类：
其他好文 时间：
2015-04-05 21:57:12
阅读次数：
117
systemd是Linux下的一款系统和服务管理器，兼容SysV和LSB的启动脚本。systemd的特性有：支持并行化任务；同时采用socket式与D-Bus总线式激活服务；按需启动守护进程（daemon）；利用Linux的cgroups监视进程；支持快照和系统恢复；维护挂载点和自动挂载点；各服务间基于依赖关系..
分类：
其他好文 时间：
2015-03-13 19:06:56
阅读次数：
343
研究生二年级实习（2010年5月）开始，一直跟着王益（yiwang）和靳志辉（rickjin）学习LDA，包括对算法的理解、并行化和应用等等。毕业后进入了腾讯公司，也一直在从事相关工作，后边还在yiwang带领下，与孙振龙、严浩等一起实现了一套大规模并行的LDA训练系统——Peacock。受rick...
分类：
编程语言 时间：
2015-02-15 18:03:17
阅读次数：
340
前言用Mahout来构建推荐系统，是一件既简单又困难的事情。简单是因为Mahout完整地封装了“协同过滤”算法，并实现了并行化，提供非常简单的API接口；困难是因为我们不了解算法细节，很难去根据业务的场景进行算法配置和调优。本文将深入算法API去解释Mahout推荐算法底层的一些事。目录Mahout...
分类：
编程语言 时间：
2015-02-11 16:21:05
阅读次数：
305
频繁项集挖掘是一个关联式规则挖掘问题。关联挖掘是数据挖掘中研究最早也是最活跃的领域，其中频繁模式的挖掘是关联挖掘的核心和基础，是产生关联规则挖掘的基础。其中FP-Growth和Apriori算法是最为经典的频繁项集挖掘算法。本文在spark下利用scala编写，充分利用了spark的内存计算方式和scala简洁的语法模式和先天性的并行化特性，充分发挥了FP-Growth。...
分类：
编程语言 时间：
2015-02-01 13:33:53
阅读次数：
310
1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。.....
分类：
其他好文 时间：
2015-01-15 18:00:34
阅读次数：
377
和所有的秘笈一样，最后一招都会又回到起点，最后我们来讨论一下是否需要建立索引，也许进行全表扫描更快。
在大多数情况下，全表扫描可能会导致更多的物理磁盘输入输出，但是全表扫描有时又可能会因为高度并行化的存在而执行的更快。
如果查询的表完全没有顺序，那么一个要返回记录数小于10％的查询可能会读取表中大部分的数据块，这样使用索引会使查询效率提高很多。
但是如果表非常有顺序，那么如果查询的记录数大于...
分类：
数据库 时间：
2015-01-12 09:17:40
阅读次数：
178
标题：浅谈Volatile与多线程2011-04-19 22:49:17最近看的比较杂，摘了一些人的笔记！随着多核的日益普及，越来越多的程序将通过多线程并行化的方式来提升性能。然而，编写正确的多线程程序一直是一件非常困的事情，volatile关键字的使用就是其中一个典型的例子。C/C++中的vola...
分类：
编程语言 时间：
2015-01-08 17:42:25
阅读次数：
159
前段时间一直在关注 CNN 的实现，查看了 caffe 的代码以及 convnet2 的代码。目前对单机多卡的内容比较感兴趣，因此特别关注 convnet2 关于 multi-GPU 的支持。
其中 cuda-convnet2 的项目地址发布在：Google Code：cuda-convnet2
关于 multi-GPU 的一篇比较重要的论文就是：One weird trick for parallelizing convolutional neural networks
本文也将针对这篇文章给出分析。...
分类：
Web程序 时间：
2015-01-06 11:54:57
阅读次数：
234
今年申请了山东省自然科学基金的青年基金项目，总体意见为CBB，评审专家的意见值得我好好铭记和改正，感谢3位评审专家！总体意见：第一位专家意见：C-不同意资助本项目针对xxx展开研究，研究xxx算法，xxx算法的并行化理论与方法，最终建立xxx算法体系。算法创新性不强，应用的重要程度不大，作者基础薄弱...
分类：
其他好文 时间：
2014-12-25 22:04:26
阅读次数：
158
