对于K-均值聚类算法MapReduce的过程理解如下:
假设有个Mapper,首先把数据集
分为
个子集,分布到
个Mapper上,初始化
,
,并同时广播到H个Mapper上。
E步:
在第一台Mapper上,针对子集,计算
其中,
。
并同时计算,
,
。
在第二台Mapper上,针对子集,计算
其中,
。
并同时计算,
,
。
依次类推,在第三、四、五、....、H-1台Mapper上,进行类似计算,
在第H台Mapper上,针对子集,计算
其中,
。
并同时计算,
,
。
M步:
在Reduce上计算:
,
,
然后,把,
,广播到H个Mapper上,进行下一轮迭代。
MapReduce----K-均值聚类算法,布布扣,bubuko.com
原文地址:http://blog.csdn.net/zhangping1987/article/details/31351163