简介:spark是一个内存计算框架,解决了mapreduce在迭代与交互方面的不足迭代:多轮算法计算形式,pagerank,逻辑回归等交互:实时数据,数据仓库查询等spark重要概念:RDD: 弹性分布式数据集,弹性(数据多节点分片)分布式(集群节点)数据集(默认加载至内存)操作:转换(transformation)rdd..
分类：
其他好文 时间：
2014-12-26 14:47:34
阅读次数：
186
进程（process）的定义：1、进程是程序的一次执行。2、进程是一个程序及其数据在处理机上顺序执行时所发生的活动。3、进程是程序在一个数据集合上的运行过程，它是系统进行资源分配和调度的一个独立单元。进程和程序的区别：1）程序是指令的有序集合，其本身没有任何运行的含义，它是一个静态的概念。而进程是程...
分类：
系统相关 时间：
2014-12-26 10:53:29
阅读次数：
178
继上篇《Hadoop阅读笔记（一）——强大的MapReduce》对MapReduce进行了理论的阐述，本篇通过WordCount加强版——求平均数以及WordCount阉割版——去重两个案例加深对于MapReduce的理解，了解了map过程、combine过程以及reduce过程，结合数据集完美呈现...
分类：
其他好文 时间：
2014-12-25 23:21:59
阅读次数：
181
参考博客 Liam Q博客 和李航的《统计学习方法》感知机学习旨在求出将训练数据集进行线性划分的分类超平面，为此，导入了基于误分类的损失函数，然后利用梯度下降法对损失函数进行极小化，从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1....
分类：
编程语言 时间：
2014-12-25 21:57:06
阅读次数：
252
observable数组(observable arrays)如果你要探测和响应一个对象的变化，你应该用observables。如果你需要探测和响应一个集合对象的变化，你应该用observableArray 。在很多场景下，它都非常有用，比如你要在UI上需要显示/编辑的一个列表数据集合，然后对集合进...
分类：
编程语言 时间：
2014-12-25 20:02:45
阅读次数：
248
半变异函数/协方差云工具显示了一个数据集内的所有位置对的经验半变异函数和协方差值，并且将其作为分隔两位置的距离的函数进行绘制，如以下示例所示：
半变异函数/协方差云工具可以用来检查数据集中空间自相关的局部特征以及查找局部异常值。半变异函数云的形式如下：
在上图中，每个红点显示根据分隔两个数据点的距离绘制的经验半变异函数值(组成一对的两个数据点的值的平方差...
分类：
其他好文 时间：
2014-12-25 18:20:20
阅读次数：
531
最近在公司实习，由于公司需要用到的一种叫做水晶报表的神奇的东东，老大就叫我们学习学习。怕自己以后忘了，也为了以后阅读方便，将其记录下来。使用工具：vs2008基本方法一、使用水晶报表的推模式步骤1、当前解决方案，右键->添加->新建项，选择数据集步骤2、更改数据集名后选择添加，为了方便我这里没有改名...
引入
一个机器可以根据照片来辨别鲜花的品种吗？在机器学习角度，这其实是一个分类问题，即机器根据不同品种鲜花的数据进行学习，使其可以对未标记的测试图片数据进行分类。
这一小节，我们还是从scikit-learn出发，理解基本的分类原则，多动手实践。
Iris数据集
Iris flower数据集是1936年由Sir Ronald Fisher引入的经典多维数据集，可以作为判别分析（...
分类：
编程语言 时间：
2014-12-25 11:19:34
阅读次数：
402
一、PCA(Principal Component Analysis)主成分分析，数据从原来的坐标系转换到新的坐标系，只保留新坐标系中的前面几个坐标轴，即对数据进行了降维处理1、算法描述（1）第一个新坐标轴：原数据集中方差最大的方向（2）第二个新坐标轴：与第一个新坐标轴正交且具有最大方差的方向（3）...
分类：
其他好文 时间：
2014-12-25 06:34:34
阅读次数：
271
王家林老师(联系邮箱18610086859@126.com 电话：18610086859 QQ:1740415547 微信号：18610086859)Spark亚太研究院院长和首席专家，中国目前唯一的移动互联网和云计算大数据集大成者。Spark亚太研究院院长和首席专家，移动互联网、云计算和大数据技术...
分类：
其他好文 时间：
2014-12-24 22:43:50
阅读次数：
192
