spark mllib的pipeline，是指将多个机器学习的算法串联到一个工作链中，依次执行各种算法。在Pipeline中的每个算法被称为“PipelineStage”，表示其中的一个算法。PipelineStage分为两种类型，Estimator和Transformer，其中：Transform...
分类：
其他好文 时间：
2015-07-09 17:52:14
阅读次数：
139
spark版本 1.3.1scala版本 2.11.6参考官网 http://spark.apache.org/docs/latest/mllib-clustering.html运行spark-shell后,首先导入需要的模块import org.apache.spark.mllib.cluster...
分类：
编程语言 时间：
2015-06-23 11:36:04
阅读次数：
123
基于SparkMLlib平台的协同过滤算法---电影推荐系统又好一阵子没有写文章了，阿弥陀佛...最近项目中要做理财推荐，所以，回过头来回顾一下协同过滤算法在推荐系统中的应用。说到推荐系统，大家可能立马会想到协同过滤算法。本文基于SparkMLlib平台实现一个向用户推荐电影的简单..
分类：
编程语言 时间：
2015-06-16 01:27:03
阅读次数：
44881
在使用sparkMLlib时，有时候需要使用到一些基础的矩阵（向量），例如：全零矩阵，全一矩阵；以及矩阵之间的运算操作。这里整理了一些常用的矩阵操作方法：矩阵：packageutilsimportjava.util.Random/***密集矩阵，用于封装模型参数*/classDenseMatrix(rowNum:Int,columnNum:Int..
分类：
其他好文 时间：
2015-05-31 18:45:34
阅读次数：
125
首先不能忘记： import org.apache.spark.mllib.linalg.{Vectors,Vector} 供测试数据： val?Ar = (?for(i <-?1?to?10?)?yield?(i+1)*(i+4).toDouble ).toArray 一：稠密向量的声明方法有两种： <一>：??...
分类：
其他好文 时间：
2015-05-28 23:19:06
阅读次数：
618
Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.2
http://blog.csdn.net/sunbow0/
第一章Neural Net(神经网络)
2基础及源码解析
2.1 Neural Net神经网络基础知识
2.1.1 神经网络
基础知识参照：
http://deeplearning.stanford.edu/wiki...
分类：
Web程序 时间：
2015-05-28 21:41:29
阅读次数：
1193
Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.1
http://blog.csdn.net/sunbow0/
Spark MLlib Deep Learning工具箱，是根据现有深度学习教程《UFLDL教程》中的算法，在SparkMLlib中的实现。具体Spark MLlib Deep Learning(深度学习)目录结构：
第一章Ne...
分类：
Web程序 时间：
2015-05-28 21:40:22
阅读次数：
338
Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.3
http://blog.csdn.net/sunbow0/
第一章Neural Net(神经网络)
3实例
3.1 测试数据
3.1.1 测试函数
采用智能优化算法的经典测试函数，如下：
（1）Sphere Model
函数表达式
搜索范围
...
分类：
Web程序 时间：
2015-05-28 21:38:38
阅读次数：
802
本文测试的Spark版本是1.3.1在使用Spark的机器学习算法库之前，需要先了解Mllib中几个基础的概念和专门用于机器学习的数据类型特征向量Vector：Vector的概念是和数学中的向量是一样的，通俗的看其实就是一个装着Double数据的数组
Vector分为两种，分别是密集型和稀疏型
创建方式如下： val array:Array[Double] = ...
val vector...
本文测试的Spark版本是1.3.1本文将在Spark集群上搭建一个简单的小型的电影推荐系统，以为之后的完整项目做铺垫和知识积累整个系统的工作流程描述如下：
1.某电影网站拥有可观的电影资源和用户数，通过各个用户对各个电影的评分，汇总得到了海量的用户-电影-评分数据
2.我在一个电影网站上看了几部电影，并都为其做了评分操作（0-5分）
3.该电影网站的推荐系统根据我对那几部电影的评分，要预测出...
分类：
数据库 时间：
2015-05-27 22:56:56
阅读次数：
377
