声明:
1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。2)本小实验工作环境为Windows系统下的百度云(联网),和Ubuntu系统的hadoop1-2-1(自己提前配好)。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3)本文由于过长,无法一次性上传。下面是五个部分....
分类:
其他好文 时间:
2014-06-07 02:55:09
阅读次数:
178
这篇文章介绍的是简单的配置Hadoop集群的方法,适合实验和小型项目用,正式运行的集群需要用更正规的方法和更详细的参数配置,不适合使用这篇文章。安装
JDK在终端输入$ java -version如果有反应,说明已安装过jdk。如果显示的信息里出现了类似OpenJDK的字样,如java versio...
分类:
其他好文 时间:
2014-06-07 02:53:11
阅读次数:
336
声明:
1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。2)本小实验工作环境为Windows系统下的百度云(联网),和Ubuntu系统的hadoop1-2-1(自己提前配好)。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3)本文由于过长,无法一次性上传。其相邻相关的博....
分类:
其他好文 时间:
2014-05-30 13:26:48
阅读次数:
538
声明:
1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。2)本小实验工作环境为Windows系统下的百度云(联网),和Ubuntu系统的hadoop1-2-1(自己提前配好)。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3)本文由于过长,无法一次性上传。其相邻相关的博....
分类:
其他好文 时间:
2014-05-30 13:25:19
阅读次数:
400
声明:
1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。2)本小实验工作环境为Windows系统下的百度云(联网),和Ubuntu系统的hadoop1-2-1(自己提前配好)。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3)本文由于过长,无法一次性上传。其相邻相关的博....
分类:
其他好文 时间:
2014-05-30 13:12:51
阅读次数:
394
声明:
1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。2)本小实验工作环境为Windows系统下的百度云(联网),和Ubuntu系统的hadoop1-2-1(自己提前配好)。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3)本文由于过长,无法一次性上传。其相邻相关的博....
分类:
其他好文 时间:
2014-05-30 12:45:25
阅读次数:
563
在wordcount
程序的main函数中,没有读取运行环境中的各种参数的值,全靠hadoop系统的默认参数跑起来,这样做是有风险的,最突出的就是OOM错误。
自己在刚刚学习hadoop编程时,就是模仿wordcount程序编写。在数据量很小,作为demo程序跑,不会有什么问题,但当数据量激增,变成...
分类:
其他好文 时间:
2014-05-30 08:32:02
阅读次数:
176
点击Open
file导入arff格式的数据,这里我导入weka内置的weather.numeric.arff数据集查看preprocess右边的三个按钮,分别是分类、聚类、关联分析,选择你需要使用的功能这里我选择分类,点击choose按钮选择要使用的分类方法这里选择j48,一种决策树算法,再点击s...
分类:
其他好文 时间:
2014-05-29 22:57:28
阅读次数:
462
http://dongxicheng.org/mapreduce/hadoop-join-two-tables/http://dongxicheng.org/mapreduce/run-hadoop-job-problems/http://dongxicheng.org/mapreduce/hdfs...
分类:
其他好文 时间:
2014-05-29 12:27:09
阅读次数:
260
顾名思义。。。云和端就是我们现在很流行讲的云计算、移动开发、大数据处理等。。我们做IT的一般都要先了解这个架构。。而对于架构这个东西,有可能是你要实现一些特定功能的软件架构,也可能是你想要实现特定系统功能的架构。而我讨论的是云和端的架构。首先,云可以理解是我们的服务器系统。或者b/s架构的serve...
分类:
其他好文 时间:
2014-05-29 08:09:38
阅读次数:
301