摘要 通过实现MapReduce计算结果保存到MySql数据库过程，掌握多种方式保存计算结果的技术，加深了对MapReduce的理解； Api 文档地址：http://hadoop.apache.org/docs/current/api/index.html maven资源库：https://mvn ...
分类：
数据库 时间：
2020-02-09 23:58:39
阅读次数：
155
目录： 目录见文章1 这个案列完成对单词的计数，重写map,与reduce方法，完成对mapreduce的理解。 Mapreduce初析 Mapreduce是一个计算框架，既然是做计算的框架，那么表现形式就是有个输入（input），mapreduce操作这个输入（input），通过本身定义好的计算模 ...
分类：
其他好文 时间：
2018-07-17 16:25:06
阅读次数：
179
对MapReduce的理解 客户端启动一个作业 向JobTraker请求一个JobId 将资源文件复制到HDFS上，包括Jar文件，配置文件，输入划分信息等 接收作业后，进入作业队列，根据输入划分信息为每个划分创建一个map任务，并将map任务分配给TaskTracker来执行(运算移动，数据不移动 ...
分类：
其他好文 时间：
2017-12-23 19:02:01
阅读次数：
149
1.自己设计一个并行计算框架，应该需要考虑那些问题呢？第一个问题是：并行计算肯定是多台计算机吗，多台计算机他们之间如何划分任务？这个地方总归有一个模块来分发任务，也就意味这它就是老大，它来维护任务或者资源mapreduce在hadoop1.x版本上是jobtracker,hadoop2.x版本是..
分类：
其他好文 时间：
2016-11-15 01:53:39
阅读次数：
120
本文是结合hadoop中的mapreduce来对用户数据进行分析，统计用户的手机号码、上行流量、下行流量、总流量的信息，同时可以按照总流量大小对用户进行分组排序等。是一个非常简洁易用的hadoop项目，主要用户进一步加强对MapReduce的理解及实际应用。文末提供源数据采集文件和系统源码。
以下是一个待分析的文本文件，里面有非常多的用户浏览信息，保扩用户手机号码，上网时间，机器序列号，访问的IP，访问的网站，上行流量，下行流量，总流量等信息。这里只截取一小段，具体文件在文末提供下载链接。...
分类：
其他好文 时间：
2016-06-12 01:53:01
阅读次数：
270
继上篇《Hadoop阅读笔记（一）——强大的MapReduce》对MapReduce进行了理论的阐述，本篇通过WordCount加强版——求平均数以及WordCount阉割版——去重两个案例加深对于MapReduce的理解，了解了map过程、combine过程以及reduce过程，结合数据集完美呈现...
分类：
其他好文 时间：
2014-12-25 23:21:59
阅读次数：
181
