Spark机器学习Pipelines中的主要概念MLlib提供的API可以通过Pipelines将多个复杂的机器学习算法结合成单个pipeline或者单个工作流。这个概念和scikit-learn里的概念类似，根据官方的说法是，此抽象概念的设计灵感来自于scikit-learn。·DataFrame:通过SparkSQL组件里的DataFram..
分类：
其他好文 时间：
2017-03-08 01:27:33
阅读次数：
326
OneHotEncoder 算法介绍： 独热编码将标签指标映射为二值向量，其中最多一个单值。这种编码被用于将种类特征使用到需要连续特征的算法，如逻辑回归等。 scala代码 参考网址：http://blog.csdn.net/liulingyuan6/article/details/53397780 ...
分类：
其他好文 时间：
2017-02-07 14:04:07
阅读次数：
247
在矩阵分解在协同过滤推荐算法中的应用中，我们对矩阵分解在推荐算法中的应用原理做了总结，这里我们就从实践的角度来用Spark学习矩阵分解推荐算法。 1. Spark推荐算法概述 在Spark MLlib中，推荐算法这块只实现了基于矩阵分解的协同过滤推荐算法。而基于的算法是FunkSVD算法，即将m个用 ...
分类：
编程语言 时间：
2017-02-04 16:18:47
阅读次数：
289
使用Spark MLlib进行情感分析 使用Spark MLlib进行情感分析 使用Spark MLlib进行情感分析 一、实验说明 在当今这个互联网时代，人们对于各种事情的舆论观点都散布在各种社交网络平台或新闻提要中。我们可以在移动设备或是个人PC上轻松地发布自己的观点。对于这种网上海量分布地数据 ...
分类：
其他好文 时间：
2017-01-24 12:29:23
阅读次数：
2493
降维[Dimensionality Reduction]: 降维 是减少变量数量的过程。它可以用来从含有噪声的未加工特征中提取潜在特征，或者在维持原来结构的情况下压缩数据。MLlib提供了类RowMatrix 上的降维支持。 奇异值分解 (SVD): 奇异值分解(SVD)将一个矩阵分解为三个矩阵：U ...
分类：
其他好文 时间：
2017-01-09 18:43:11
阅读次数：
285
聚类: 聚类是一个无监督学习问题，我们基于相似的特性将数据分组成多个子集。聚类通常用于探索性分析或者作为分层监督学习管道（每个簇训练不同的分类或者回归模型）的组件。 MLlib支持下面的几个模型： K均值(K-means) 高斯混合(Gaussian mixture) 幂迭代聚类(Power ite ...
分类：
其他好文 时间：
2017-01-09 17:56:40
阅读次数：
502
这个星期开始学习Python了，因为看的书都是基于Python2.x，而且我安装的是Python3.1，所以书上写的地方好多都不适用于Python3.1，特意在Google上search了一下3.x和2.x的区别。特此在自己的空间中记录一下，以备以后查找方便，也可以分享给想学习Python的frie ...
分类：
编程语言 时间：
2016-12-31 19:59:05
阅读次数：
182
刚刚spark mllib，在maven repository网站http://mvnrepository.com/中查询mllib后得到相关库的最新dependence为： <dependency> <groupId>org.apache.spark</groupId> <artifactId>s ...
分类：
编程语言 时间：
2016-12-29 14:25:05
阅读次数：
290
原文地址：http://blog.csdn.net/BaiHuaXiu123/article/details/52478853 摘要 学习路线 你是否对机器学习充满兴趣呢?其实到目前为止，每天有越来越多的工程师开始将好奇的目光转向机器学习领域。实际上，你会发现现在没有哪一个领域比机器学习能引起更多的 ...
分类：
其他好文 时间：
2016-12-12 02:15:18
阅读次数：
201
VectorIndexer
算法介绍：
VectorIndexer解决数据集中的类别特征Vector。它可以自动识别哪些特征是类别型的，并且将原始值转换为类别指标。它的处理流程如下：
...
分类：
编程语言 时间：
2016-12-02 16:21:36
阅读次数：
393
