package com.jhl.haoop.examples; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop...
分类：
其他好文 时间：
2015-10-30 02:23:28
阅读次数：
203
1）首先创建WordCount1023文件夹，然后在此目录下使用编辑器，例如vim编写WordCount源文件，并保存为WordCount.java文件 1 /** 2 * Licensed under the Apache License, Version 2.0 (the "Licens...
分类：
系统相关 时间：
2015-10-23 18:04:48
阅读次数：
264
sc.textFile("hdfs://....").flatMap(line =>line.split(" ")).map(w =>(w,1)).reduceByKey(_+_).foreach(println)不使用reduceByKeysc.textFile("hdfs://....").fl...
分类：
其他好文 时间：
2015-10-22 00:23:28
阅读次数：
195
一切从示例程序开始：示例程序Hadoop2.7 提供的示例程序WordCount.javapackage org.apache.hadoop.examples;import java.io.IOException;import java.util.StringTokenizer;import org...
分类：
移动开发 时间：
2015-10-20 12:05:31
阅读次数：
434
WordCount是很多分布式计算中，最常用的例子，例如Hadoop、Storm，Iveely Computing也不例外。明白了WordCount在Iveely Computing上的运行原理，就很容易写出新的分布式程序。上一篇中已经知道了如何部署Iveely Computing以及提交任务，现在...
分类：
其他好文 时间：
2015-10-09 18:07:03
阅读次数：
232
上一篇，我们的Eclipse插件搞定，那开始我们的MapReduce之旅。 在这里，我们先调用官方的wordcount例子，然后再手动创建个例子，这样可以更好的理解Job。
分类：
其他好文 时间：
2015-10-08 10:32:48
阅读次数：
306
原文链接 http://www.cnblogs.com/shengshengwang/p/4852927.html 还记得2.5年前就搭建好了Hadoop伪分布式集群，安装好Eclipse后运行成功了WordCount.java，然后学习Hadoop的步伐就变得很慢了，相信有很多小伙伴和我一样。自己...
分类：
其他好文 时间：
2015-10-03 13:12:57
阅读次数：
214
还记得2.5年前就搭建好了Hadoop伪分布式集群，安装好Eclipse后运行成功了WordCount.java，然后学习Hadoop的步伐就变得很慢了，相信有很多小伙伴和我一样。自己对MR程序（特指Hadoop 1.x版本）的工作过程一直都不是很清楚，现在重点总结一下，为MR编程打好基础。由于M....
分类：
其他好文 时间：
2015-10-03 00:57:22
阅读次数：
269
1、定义topology:public class TopologyMain { public static void main(String[] args) throws AlreadyAliveException, InvalidTopologyException, InterruptedExc...
分类：
其他好文 时间：
2015-09-18 20:35:16
阅读次数：
322
折腾了半天。终于编写成功了第一个自己的mapreduce程序，并通过打jar包的方式运行起来了。运行环境：windows 64biteclipse 64bitjdk6.0 64bit一、工程准备1、新建java project2、导入jar包新建一个user library 把hadoop文件夹里的...
分类：
其他好文 时间：
2015-09-13 23:02:53
阅读次数：
329
