码迷,mamicode.com
首页 > 其他好文 > 详细

Mahout canopy聚类

时间:2014-05-26 03:21:30      阅读:321      评论:0      收藏:0      [点我收藏+]

标签:mahout   机器学习   

Canopy 聚类

一、Canopy算法流程

Canopy 算法,流程简单,容易实现,一下是算法

(1)设样本集合为S,确定两个阈值t1和t2,且t1>t2。

(2)任取一个样本点p,作为一个Canopy,记为C,从S中移除p。

(3)计算S中所有点到p的距离dist

(4)若dist<t1,则将相应点归到C,作为弱关联。

(5)若dist<t2,则将相应点移出S,作为强关联。

(6)重复(2)~(5),直至S为空。

   上面的过程可以看出,dist<t2的点属于有且仅有一个簇,t2<dist<t1 的点可能属于多个簇。可见Canopy是一种软聚类。

   数据集合划分完后:

                                       bubuko.com,布布扣

     Canopy有消除孤立点的作用,而K-means在这方面却无能为力。建立canopies之后,可以删除那些包含数据点数目较少的canopy,往往这些canopy是包含孤立点的。根据canopy内点的数目,来决定聚类中心数目k,这样效果比较好。

 当T1过大时,会使许多点属于多个Canopy,可能会造成各个簇的中心点间距离较近,各簇间区别不明显;当T2过大时,增加强标记数据点的数量,会减少簇个个数;T2过小,会增加簇的个数,同时增加计算时间。

二、MapReduce实现

      在执行Canopy之前需要用将文本合并,然后用Mahout文本向量化模块计算TFIDF,作为文本向量。向量化之后再用Canopy算法聚类。

(一)簇定义

簇Cluster是一个实体,保存该簇的关键信息,canopy 就是一个cluster。

  privateint id; 簇编号

核心参数:计算完数据后最终的簇属性

  private long numPoints; 簇中点的个数

  private Vector center; 中心向量 center=

  private Vector radius; 半径向量  radius =

调整参数:簇中加入一个点后调整的参数

  private double s0; s0= 权重和。对于canopy w=1 ,所有s0=numPoints

  private Vector s1;  s1=  x point w 为权重。对canopyw =1

  private Vector s2 ;  s2= x pointw为权重。对canopyw =1

(二)发现中心点

      该Job 通过多个Map 寻找局部Canopy ,用1个reduce将map计算的canopy合并,最终输出全局的中心。

      输入数据:SequenceFile 格式,key 文件路径,value TFIDF向量。

Map: key 文件路径 ,  value TFIDF 向量

Collection<Canopy> canopies = new ArrayList<Canopy>()

Map(WritableComparable<?> key, VectorWritable point){

CanopyClusterer 将Point 加入到canopies 集合中。加入集合的过程中计算T1,T2.加入到相应的Canopy中。

}

Close(){

遍历canopies 集合,计算每一个Canopy的中心点。

For(canopy :canopies){

计算每一个Canopy的中心点。

输出 key :Text(“centroid”)value: Canopy中心点向量。

}

}

 Reduce:key  Text(“centroid”)  value VectorWritable

用1个reduce 将所有map 计算的canopy 中心合并。

Reduce中执行的代码和map的一样。

最终输出canopy 。

For(canopy c :canopys ){

输出:key c.getIdentifier()  ,Value c

}

(三)划分数据

通过上一步找到中心点后,划分数据的过程就比较容易了。输入数据为向量化后的TFIDF向量。该过程只需用Map 就行。

输入格式:key  文档路径  value  TFIDF向量

    Map:

          Collection<Canopy>canopies = new ArrayList<Canopy>()

          Map(WritableComparable<?> key, VectorWritable point){

             计算point 和所有中心点的距离,将其划分到距离最近的canopy中

             CanopyClusterer.emitPointToClosestCanopy(point,canopyes)

 输出 key: canopyid ,value:point

 }

         setup(){

读Canopy ,到 canopies

         }

三、API说明

API

CanopyDriver.main(args);

--input (-i)

输入路径

--output(-o)

输出路径

--distanceMeasure(-dm)

距离度量类的权限命名,如:”org.apache.mahout.common.distance.CosineDistanceMeasure”

--t1 (-t1)

t1值 (t1>t2)

--t2 (-t2)

t2值

--t3 (-t3)

t3值,默认t3=t1

--t4(-t4)

t4值,默认t4=t2

--overwrite (-ow)

是否覆盖上次操作的结果

--clustering (-cl)

是否执行聚类操作,即划分数据

--method (-method)

默认,mapreduce。还可选sequential,执行单机模式

 

示例

String  [] args ={“--input”,“vector/tfidf-vectors”,

                  “--output”,      “cluster/canopy”,   

                “--method”,    “mapreduce”, 

                “--distanceMeasure”,      “org.apache.mahout.common.distance .CosineDistanceMeasure”,

                “--t1”,     “0.45”,   

                “--t2”,     0.38”,

                  “--overwrite”,

                  “--clustering”}

CanopyDriver.main(args);

输出

结果文件

Key类型

Value类型

说明

clusters-*

类id (org.apache.hadoop.io.Text)

类中心

(org.apache.mahout.

clustering.kmeans.Cluster)

每条记录以类id和类中心表示一个类别

clusteredPoints

类id (org.apache.hadoop.io.IntWritable)

文档向量

(org.apache.

mahout.clustering.WeightedVectorWritable)

每条记录中,文档向量代表文档,类id代表该文档所属类别

注:clusters-*中*代表数字,第i次迭代产生的类信息即为clusters-i

四、参考文献


Mahout canopy聚类,布布扣,bubuko.com

Mahout canopy聚类

标签:mahout   机器学习   

原文地址:http://blog.csdn.net/yueyedeai/article/details/26711469

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!