头一次，参加技术沙龙哈哈哈哈哈 第一个牛人演讲概要 1.图计算 2.Tungsten 3.建议 图存储与计算机中是一个矩阵，在矩阵中标识各个定点和边的属性。 在图中求取关键路径则需要图计算，相对于hadoop的技术要快很多。主要因为图计算的每次迭代都会去掉一些信息（点和线）。hadoop则是全部在进 ...
分类：
其他好文 时间：
2016-06-18 16:43:07
阅读次数：
168
对C语言中有许多重要知识的总结：1、一些基本的函数和基本数据类型的应用。其中，基本数据类型分为整型、浮点型、字符型、枚举类型。基本函数包括输入输出函数。2、把运算符的优先顺序排列清楚，要分清楚哪个先运算，哪个后运算。3、在编程之前要考虑好程序的算法，写出流程图..
分类：
编程语言 时间：
2016-06-15 00:09:31
阅读次数：
176
本篇从二个方面进行源码分析： 一、updateStateByKey解密 二、mapWithState解密 通过对Spark研究角度来研究jvm、分布式、图计算、架构设计、软件工程思想，可以学到很多东西。 进行黑名单动态生成和过滤例子中会用到updateStateByKey方法，此方法在DStream ...
分类：
其他好文 时间：
2016-05-31 01:11:22
阅读次数：
818
在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。
然而，通过Spark开发出高性能的大数据计算作业，并不是那么简单的。如果没有对Spark作业进行合理的调优，Spark作业的执行速度可能会很慢，这样就完全体现不出Spa...
分类：
其他好文 时间：
2016-05-18 18:58:10
阅读次数：
209
volatile在多线程并发中用途非常广，原因是它有两个特性：
保证了不同线程对这个变量进行操作时的可见性，即一个线程修改了某个变量的值，这新值对其他线程来说是立即可见的。
禁止进行指令重排序。
内存模型的相关概念要想弄明白volatile的原理，先需要知道内存模型的一些概念。先看一个图：计算机在执行程序时，每条指令都是在CPU中执行的，而执行指令过程中，势必涉及到数据的读取和写入。由于程序运行过程...
分类：
编程语言 时间：
2016-05-13 00:50:10
阅读次数：
228
PageRank 算法学习与整理
由于最近在研究图计算框架的相关问题，决定复习整理一下它的测试算法PageRank，不足之处请大家批评指正！
一、 PageRank 相关背景
PageRank 的创始人拉里佩奇（Larry Page）和谢尔盖.布林（Sergey Brin），在1998年提出了该算法，并应用在Google搜索引擎的检索结果排序上，该技术也是Google早期的核心技...
分类：
编程语言 时间：
2016-05-12 23:24:36
阅读次数：
430
这种跟踪和我之前想的一样，应该是首先鼠标选中要跟踪的目标，然后计算其直方图。接下来就根据这个原始直方图计算每一帧的反向投影。（反向投影：opencv docs给出的概念是“一种记录给定图像中的像素点如何适应直方图模型像素分布的方式。简单的讲， 所谓反向投影就是首先计算某一特征的直方图模型，然后使用模型去寻找图像中存在的该特征。） 然后根据反向投影用meanshift跟踪 meanShift(ba...
分类：
其他好文 时间：
2016-05-12 21:13:22
阅读次数：
162
http://blog.csdn.net/pipisorry/article/details/51350908
Requirements
1. JDK 1.7.x + Hadoop 2.6.x
Hadoop的安装参考[Hadoop：Hadoop单机伪分布式的安装和配置]
2. protocol buffers
root@dc34d732b74d:/# apt-get update
...
分类：
其他好文 时间：
2016-05-12 18:49:03
阅读次数：
216
OpenCV2.3的cvCalcHist函数有问题?255级值总为0,索性自己写一个直方图计算函数,附源码!...
分类：
其他好文 时间：
2016-05-07 10:16:25
阅读次数：
302
1.实战解析Spark运行原理
交互式查询（shell，sql）
批处理（机器学习，图计算）
首先，spark是基于内存的分布式高效计算框架，采用一栈式管理机制，同时支持流处理，实时交互式出，批处理三种方式，Spark特别支持迭代式计算，因此，他对机器学习，图计算具有较强的支持，为此他提供了机器学习和图计算接口。
（1）分布式：Distributed Computation
分布式多台机器...
分类：
其他好文 时间：
2016-05-07 08:02:27
阅读次数：
137
