注意： spark用2.1.1 scala用2.11.11 材料准备 spark安装包 JDK 8 IDEA开发工具 scala 2.11.8 环境搭建步骤 将spark-2.1.1-bin-hadoop2.x版本至c盘下即可 将spark中的jar包全部提取出来另外放到一地方用于进行开发 新建ID ...
Spark 优缺点分析 以下翻译自Scikit。 The advantages of support vector machines are: （1）Effective in high dimensional spaces.在高维空间表现良好。 （2）Still effective in cases ...
分类：
其他好文 时间：
2018-02-03 20:52:10
阅读次数：
214
上次我们讲过《Spark机器学习（上）》，本文是Spark机器学习的下部分，请点击回顾上部分，再更好地理解本文。1.机器学习的常见算法 常见的机器学习算法有：l 构造条件概率：回归分析和统计分类；l 人工神经网络；l 决策树；l 高斯过程回归；l 线性判别分析；l 最近邻居法；l 感知器；l 径向基 ...
分类：
其他好文 时间：
2018-01-24 22:19:13
阅读次数：
229
1、机器学习概念 1.1 机器学习的定义 在维基百科上对机器学习提出以下几种定义：l“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。l“机器学习是对能通过经验自动改进的计算机算法的研究”。l“机器学习是用数据或以往的经验，以此优化计算机程序 ...
分类：
其他好文 时间：
2018-01-04 22:59:18
阅读次数：
232
目录 推荐模型的分类 条目2 条目3 条目4 条目5 条目6 条目7 条目8 条目9 推荐模型的分类 最为流行的两种方法是基于内容的过滤、协同过滤。 基于内容的过滤： 比如用户A买了商品A，商品B与商品A相似（这个相似是基于商品内部的属性，比如“非常好的协同过滤入门文章”和“推荐系统:协同过滤col ...
分类：
其他好文 时间：
2017-12-20 18:03:53
阅读次数：
155
1：Spark ML与Spark MLLIB区别？ Spark MLlib是面向RDD数据抽象的编程工具类库，现在已经逐渐不再被Spark团队支持，逐渐转向Spark ML库，Spark ML是面向DataFrame编程的。 2：Spark ML与Spark MLLIB中矩阵、向量定义区别？ 这两个 ...
分类：
其他好文 时间：
2017-11-19 12:35:30
阅读次数：
182
结果： 8sparksoyo+ + + +|id |words |features |+ + + +|0 |[soyo, spark, soyo2, soyo, 8] |(3,[0,1,2],[1.0,1.0,2.0])||1 |[soyo, hadoop, soyo, hadoop, xiaozh ...
分类：
其他好文 时间：
2017-10-28 21:58:25
阅读次数：
179
package Spark_MLlib import org.apache.spark.ml.feature.Word2Vec import org.apache.spark.sql.SparkSession object 特征抽取_Word2Vec { val spark=SparkSession... ...
分类：
其他好文 时间：
2017-10-28 15:39:22
阅读次数：
387
结果： + + +|label|features |+ + +|0 |(1000,[105,107,181,330,333],[2.5541281188299534,0.5108256237659907,0.9162907318741551,1.0216512475319814,0.91629073 ...
分类：
其他好文 时间：
2017-10-24 20:55:30
阅读次数：
153
结果： + + +| id| text|+ + +| 4| spark i like|| 5|hadoop spark book|| 6| soyo9 soy 88|+ + +StructField(id,IntegerType,false)StructField(text,StringType,t ...
分类：
其他好文 时间：
2017-10-24 14:12:53
阅读次数：
375
