1 package cn.spark.study.core; 2 3 import java.util.Arrays; 4 5 import org.apache.spark.SparkConf; 6 import org.apache.spark.api.java.JavaPai...
分类：
其他好文 时间：
2016-01-06 23:48:37
阅读次数：
435
MapReduce的设计思想主要的思想是分而治之(divide and conquer),分治算法。将一个大的问题切分成很多小的问题，然后在集群中的各个节点上执行，这既是Map过程。在Map过程结束之后，会有一个Ruduce的过程，这个过程即将所有的Map阶段产出的结果进行汇集。写MapReduce...
分类：
其他好文 时间：
2015-12-29 22:40:14
阅读次数：
276
Hadoop-2.4.0安装和wordcount执行验证下面描写叙述了64位centos6.5机器下,安装32位hadoop-2.4.0,并通过执行系统自带的WordCount样例来验证服务正确性的步骤。建立文件夹/home/QiumingLu/hadoop-2.4.0,以后这个是hadoop的安装...
分类：
其他好文 时间：
2015-12-26 22:15:13
阅读次数：
279
spout：package com.storm.WordCount;import backtype.storm.spout.SpoutOutputCollector;import backtype.storm.task.TopologyContext;import backtype.storm.to...
分类：
其他好文 时间：
2015-12-25 13:39:04
阅读次数：
247
我们在按照网上铺天盖地的教程开始运行wordcount时，有时会得到一个报错。如下所示/usr/local/hadoop-1.2.1/bin# ./hadoop jar /home/ftp/temp/wordcount.jar WordCount /home/input /home/output ....
分类：
其他好文 时间：
2015-12-20 14:36:03
阅读次数：
236
为了分析 MapReduce 的编程模型，这里我们以 WordCount 为实例。就像 Java、C++等编程语言的入门程序 hello word 一样，WordCount 是 MapReduce 最简单的入门程序。下面我们就来逐步分析。1、场景：假如有大量的文件，里面存储的都是单词。类似应用...
分类：
其他好文 时间：
2015-12-19 11:09:57
阅读次数：
243
mapreduce版本：0.2.0之前说明： 该注释为之前学习时找到的一篇，现在只是在入门以后对该注释做了一些修正以及添加。 由于版本问题，该代码并没有在集群环境中运行，只将其做为理解mapreduce的参考吧。 切记，该版本是0.2.0之前的版本，请分辨清楚！正文： package o...
分类：
其他好文 时间：
2015-12-18 18:50:28
阅读次数：
178
记录spark的Wordcount小程序：前提：hdfs已经打开创建一个name为wc.input的文件，上传到hdfs中的/user/hadoop/spark/中，内容如上图[root@spark00 hadoop-2.6.0-cdh5.4.0]# bin/hdfs dfs -put wc.inp...
分类：
其他好文 时间：
2015-12-16 21:04:11
阅读次数：
177
启动申请提交一个job(wordcount.jar和程序中的配置参数和数据切片规划文件)运行进程为runjarResouceManager会在一台节点NodeManager上先启动客户提交的wordcount.jar的主管进程MRAppMasster由主管进程(MRAppMasster)根据启动规则启动mapTask任务(yarnChild进程).如果所有mapTas..
分类：
其他好文 时间：
2015-12-16 09:39:21
阅读次数：
169
"平均成绩"主要目的还是在重温经典"WordCount"例子，可以说是在基础上的微变化版对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩，如果有多门学科，则每门学科为一个文件。要求在输出中每行有两个间隔的数据，其中，第一个代表学生的姓名，第二个代表其平均成绩...
分类：
其他好文 时间：
2015-12-10 21:49:18
阅读次数：
243
