通过spark-shell实现聚类算法

标签：

spark版本 1.3.1

scala版本 2.11.6

参考官网 http://spark.apache.org/docs/latest/mllib-clustering.html

运行spark-shell后,首先导入需要的模块

import org.apache.spark.mllib.clustering.KMeans

import org.apache.spark.mllib.linalg.Vectors

// Load and parse the data

val data = sc.textFile("/home/hadoop/hadoopdata/data3.txt")  //每行一个样本, 样本的特征用空格分开


val parsedData = data.map(s => Vectors.dense(s.split(‘ ‘).map(_.toDouble))).cache()

val clusters = KMeans.train(parsedData, numClusters, numIterations, parallRunNums) //其中后三个要替换成自己设置的数字

通过spark-shell实现聚类算法

标签：

原文地址：http://www.cnblogs.com/yanghadoop/p/4594795.html