MapReduce编程实例

时间：2015-06-29 00:27:01 阅读：247 评论：0 收藏：0 [点我收藏+]

标签：

《机器学习实战》

1top K 问题。

在搜索中，我们常常需要搜索最近热门的K个搜索词，这是典型的top k问题。就可以分解成两个mapreduce.先完成统计词频，然后找出词频最高的的查询词。第一个作业是典型的WordCOUNT,第一个作业是用MAp函数。第二个任务是汇总每个map任务得到的查询词的前提，并输出频率最高的前k个查询词。

2k均值聚类算法

这是一个基于距离的距离算法.它采用距离作为相似性的评价指标,因为两个对象距离越近，他们相似度就越大。该算法可以抽奖成为:给定正整数k和n的对象如何将这些数据划分为K个聚类。

首先选择k个对象作为初始中心点，然后不断迭代计算，直到满足终止条件。直到迭代次数上限或者数据点到中心点距离的平方和最小。在I轮迭代中，Map计算每个对象到中心点的距离,选择每个对象最近的中心点并输出<Center point, Object>对。reduce走进每个聚类中对象的距离均值,并将这k中值作为下一轮初始中心点。

3贝叶斯分类

贝叶斯分类是一种利用概率统计知识进行分类，该方法包括两个步骤:训练样本分类。其中训练样本可由Map Reduce个作业完成。第一个作业抽取文档特征，只需要Map完成。第二个作业计算类别的先验概率。即统计，每个类别中文档的数目，并计算类别概率。第三个作业，计算单词的条件概率，并计算<Label,Word>，所有文档中出现的次数并计算单词的条件概率。后两个作业的具体实现类似于WordCount。

MapReduce编程实例

标签：

原文地址：http://www.cnblogs.com/EverythingIsAMirror/p/4606407.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行