Introduction
DPark是豆瓣开发的基于Mesos的开源分布式计算框架，是spark的python版克隆，Davids的作品，Beandb作者。是豆瓣刚开源的集群计算框架，类似于MapReduce，但是比其更灵活，可以用Python非常方便地进行分布式计算，并且提供了更多的功能以便更好的进行迭代式计算。DPark的计算模型是基于两个中心思想的：对分布式数据集的并行计算以及一些有...
分类：
编程语言 时间：
2015-01-28 19:47:43
阅读次数：
281
超级(无限)大的 --- 整型10进制数据与16进制数据相互转换;
数据压缩算法,超过整数表示范围的大数据算术运算,大进制数据互相转换;
高效的乘除法竖式计算模型，乘法转换成加法运算，除法转换成减法运算;...
分类：
其他好文 时间：
2015-01-25 22:33:09
阅读次数：
268
lambda算子是一切函数式语言的基础，明白lambda算子对于掌握函数式语言有着许多好处。最近学习相关知识略有所得，故在此写出以备忘：1 基础λ 算子是函数式编程的理论基础，是图灵机外的另一种计算模型。 它十分简洁，只有三条产生规则，却可以表达一切可计算的函数。λ 算子的核心概念是表达式expre...
分类：
其他好文 时间：
2015-01-23 20:01:56
阅读次数：
192
在前一篇文章中，介绍到了Galaxy的增量计算性质，其state是框架内部管理的，以及与Storm的简单对比。这篇文章将讲述更多Galaxy增量模型的事情，并介绍这套增量模型之上实现的Galaxy SQL和Galaxy Operator，同时会从增量角度对比Spark Streaming。...
分类：
其他好文 时间：
2015-01-16 16:42:07
阅读次数：
652
CUDA计算模型CUDA中计算分为两部分，串行部分在Host上执行，即CPU，而并行部分在Device上执行，即GPU。相比传统的C语言，CUDA增加了一些扩展，包括了库和关键字。CUDA代码提交给NVCC编译器，该编译器将代码分为Host代码和Device代码两部分。Host代码即为原本的C语言，...
分类：
其他好文 时间：
2015-01-15 00:18:14
阅读次数：
169
1、异步计算
分布式计算听起来有点高大上，如果说异步计算，估计了解的人多了。我们在日常的工作和生活中，一般都能遇到或者用到异步计算。
比如年底要做很多的报表，领导把需要的报表安排下来，我和我的团队去做统计。为了不耽误领导的时间，不需要领导站在我们屁股后面亲自督战。对领导来说，这个就是一个简单的异步计算模型了。
我们的团队在统计的时候，数据量很多，系统要运行很久，我...
分类：
其他好文 时间：
2015-01-14 14:21:41
阅读次数：
130
你想建设一个能承受500万PV/每天的网站吗？ 500万PV是什么概念？服务器每秒要处理多少个请求才能应对？如果计算呢？ PV是什么：PV是page view的简写。PV是指页面的访问次数，每打开或刷新一次页面，就算做一个pv。 计算模型： 每台服务器每秒处理请求的数量=((80%*总PV量)/.....
分类：
Web程序 时间：
2015-01-11 19:06:30
阅读次数：
185
Intro to Parallel Programming
How do you dig a hole faster?
GPU理念
很多很多简单计算单元；
清洗的并行计算模型；
关注吞吐量而非延迟；
CPU: HOST
GPU:DEVICE
A Typical GPU Program
1,CPUallocates(分配)...
分类：
其他好文 时间：
2015-01-02 09:50:16
阅读次数：
279
相似度的计算是数据挖掘与机器学习中的一个永恒的话题，为了能更好地理解与比较各种相似度计算的方法，能灵活运用到各种计算模型中，自己在研究机器学习之Mahout框架时，源代码中也实现了很多相似度计算方法，本文结合机器学习Mahout框架中各种相似度计算方法的实现，并且从代数角度和几何角度来理解相似度的计算方法。并阐述其优缺点，及自己的适用场景。本文通过总结和归纳，一共总结了9中距离测量方法，方法一到方法七是Mahout中完完本本实现了，其中前面是方面名，破折号后是Mahout中各方法实现的类名，本文结合Maho...
分类：
其他好文 时间：
2014-12-23 00:19:48
阅读次数：
1390
MapReduce是一种分布式计算模型。由Map和reduce两个阶段组成，用户只需要实现Map（）和Reduce（）两个函数即可实现分布式计算。这两个函数的形参是key,value对，表示函数的输入信息。执行步骤：1. map任务处理1.1 读取输入文件内容，解析成key、value对。对输入文件...
分类：
其他好文 时间：
2014-12-12 22:02:04
阅读次数：
186
