package wordcount;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Int...
分类：
其他好文 时间：
2014-06-05 09:12:55
阅读次数：
203
在wordcount
程序的main函数中，没有读取运行环境中的各种参数的值，全靠hadoop系统的默认参数跑起来，这样做是有风险的，最突出的就是OOM错误。
自己在刚刚学习hadoop编程时，就是模仿wordcount程序编写。在数据量很小，作为demo程序跑，不会有什么问题，但当数据量激增，变成...
分类：
其他好文 时间：
2014-05-30 08:32:02
阅读次数：
176
cd ~/srcmkdir classesjavac -classpath
~/hadoop-0.20.2/hadoop-0.20.2-core.jar WordCount.java -d classesjar -cvf
WordCount.jar -C classes/ .hadoop jar W...
分类：
其他好文 时间：
2014-05-23 22:22:04
阅读次数：
341
Hadoop Eclipse 开发工具 主要分为1、根据Hadoop版本生成插件2、安装Hadoop
Eclipse插件3、配置Hadoop目录4、配置Hadoop连接5、新一个MapReduce工程WordCount.javaMapReduce——WordCount问题总结参考：http://bl...
分类：
系统相关 时间：
2014-05-23 02:44:30
阅读次数：
354
Hadoop 运行环境准备运行环境部署结构介绍Linux
CentOS6.5安装（Hadoop环境配置）Linux
常用远程管理工具介绍SSH免密码登录配置Hadoop安装及配置Hadoop验证-WordCount执行Hadoop开发工具准备Hadoop Eclipse
Plugin配置安装及验证H...
分类：
其他好文 时间：
2014-05-23 02:41:15
阅读次数：
211
Hadoop技术内幕中指出Top
K算法有两步，一是统计词频，二是找出词频最高的前K个词。在网上找了很多MapReduce的Top
K案例，这些案例都只有排序功能，所以自己写了个案例。这个案例分两个步骤，第一个是就是wordCount案例，二就是排序功能。一，统计词频 1 package
TopK;...
分类：
其他好文 时间：
2014-05-21 22:29:14
阅读次数：
599
1、首先利用http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/搭建好的Eclipse(Scala)开发平台编写scala文件，内容如下：import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
object HdfsWordCount {...
分类：
其他好文 时间：
2014-05-13 05:35:12
阅读次数：
379
单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版"Hello
World"，该程序的完整代码可以在Hadoop安装包的"src/examples"目录下找到。单词计数主要完成功能是：统计一系列文本文件中每个单词出现的次数，如下图所示。现在我们以"hadoop...
分类：
其他好文 时间：
2014-05-10 01:54:48
阅读次数：
445
Hadoop
MapReduce开发最佳实践（上篇）本文是Hadoop最佳实践系列第二篇，上一篇为《Hadoop管理员的十个最佳实践》。MapRuduce开发对于大多数程序员都会觉得略显复杂，运行一个WordCount（Hadoop中hello
word程序）不仅要熟悉MapRuduce模型，还要了...
分类：
其他好文 时间：
2014-05-08 21:45:46
阅读次数：
640
pig wordcount analysis...
分类：
其他好文 时间：
2014-05-07 04:39:27
阅读次数：
270
