声明：
1）本文由我bitpeach原创撰写，转载时请注明出处，侵权必究。2）本小实验工作环境为Windows系统下的百度云（联网），和Ubuntu系统的hadoop1-2-1（自己提前配好）。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3）本文由于过长，无法一次性上传。下面是五个部分....
分类：
其他好文 时间：
2014-06-07 02:55:09
阅读次数：
178
这篇文章介绍的是简单的配置Hadoop集群的方法，适合实验和小型项目用，正式运行的集群需要用更正规的方法和更详细的参数配置，不适合使用这篇文章。安装
JDK在终端输入$ java -version如果有反应，说明已安装过jdk。如果显示的信息里出现了类似OpenJDK的字样，如java versio...
分类：
其他好文 时间：
2014-06-07 02:53:11
阅读次数：
336
声明：
1）本文由我bitpeach原创撰写，转载时请注明出处，侵权必究。2）本小实验工作环境为Windows系统下的百度云（联网），和Ubuntu系统的hadoop1-2-1（自己提前配好）。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3）本文由于过长，无法一次性上传。其相邻相关的博....
分类：
其他好文 时间：
2014-05-30 13:26:48
阅读次数：
538
声明：
1）本文由我bitpeach原创撰写，转载时请注明出处，侵权必究。2）本小实验工作环境为Windows系统下的百度云（联网），和Ubuntu系统的hadoop1-2-1（自己提前配好）。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3）本文由于过长，无法一次性上传。其相邻相关的博....
分类：
其他好文 时间：
2014-05-30 13:25:19
阅读次数：
400
声明：
1）本文由我bitpeach原创撰写，转载时请注明出处，侵权必究。2）本小实验工作环境为Windows系统下的百度云（联网），和Ubuntu系统的hadoop1-2-1（自己提前配好）。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3）本文由于过长，无法一次性上传。其相邻相关的博....
分类：
其他好文 时间：
2014-05-30 13:12:51
阅读次数：
394
声明：
1）本文由我bitpeach原创撰写，转载时请注明出处，侵权必究。2）本小实验工作环境为Windows系统下的百度云（联网），和Ubuntu系统的hadoop1-2-1（自己提前配好）。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3）本文由于过长，无法一次性上传。其相邻相关的博....
分类：
其他好文 时间：
2014-05-30 12:45:25
阅读次数：
563
在wordcount
程序的main函数中，没有读取运行环境中的各种参数的值，全靠hadoop系统的默认参数跑起来，这样做是有风险的，最突出的就是OOM错误。
自己在刚刚学习hadoop编程时，就是模仿wordcount程序编写。在数据量很小，作为demo程序跑，不会有什么问题，但当数据量激增，变成...
分类：
其他好文 时间：
2014-05-30 08:32:02
阅读次数：
176
a.
在hadoop解压目录下，找到src\contrib\eclipse-plugin\build.xml，增加如下几行： b. 在build.xml增加如下：c.
在build.xml，修改如下：d. 找到src\contrib\build-contrib....
分类：
系统相关 时间：
2014-05-29 20:48:43
阅读次数：
439
分布式数据集创建之textFile
文本文件的RDDs能够通过SparkContext的textFile方法创建，该方法接受文件的URI地址（或者机器上的文件本地路径，或者一个hdfs://,
sdn://,kfs://,其他URI).这里是一个调用样例：scala> val distFile...
分类：
其他好文 时间：
2014-05-29 18:58:27
阅读次数：
429
http://dongxicheng.org/mapreduce/hadoop-join-two-tables/http://dongxicheng.org/mapreduce/run-hadoop-job-problems/http://dongxicheng.org/mapreduce/hdfs...
分类：
其他好文 时间：
2014-05-29 12:27:09
阅读次数：
260
