最近升级cdh版本,从4.5 升级到 5.0.0 beta-2
但是升级后,发现/etc/alternatives 路径下的软链接还是只想旧的4.5 版本,而且hadoop环境也是沿用4.5
的版本conf,导致hive不能正常使用,报错为hdfs 的版本不对。 后面使用strace工具查看,发现它...
分类:
其他好文 时间:
2014-06-07 02:44:21
阅读次数:
248
这么个标题多少有点蛋疼的感觉,两个都是互联网时代的语言,学习成本和执行效率也差不多,之所以会产生这种需求,多半是想在python中引用java的类,例如安卓和hadoop的生态圈,基本是java代码的天下,虽然python大数据有不错的接口,但直接调用java的需求总是有的。这个目前已经有解决方案,...
分类:
编程语言 时间:
2014-06-04 20:52:14
阅读次数:
261
Hadoop2.0是对Hadoop1.0全面升级,诞生了通用的计算框架YARN,很多计算框架或者应用程序不再基于传统的操作系统开发,而是基于YARN这个云操作系统。典型的代表是DAG计算框架Tez,当然还有一些其他知名的自运行的计算集群系统也在YARN上有开源版本,比如Storm-on-yarn,S...
分类:
其他好文 时间:
2014-06-03 13:09:44
阅读次数:
336
版权全部: zhe-jiang.he@hp.com
严禁转载!1.安装插件准备程序:eclipse-3.3.2(这个版本号的插件仅仅能用这个版本号的eclipse)hadoop-0.20.2-eclipse-plugin.jar
(在hadoop-0.20.2/contrib/eclipse-plu...
分类:
系统相关 时间:
2014-06-03 12:15:46
阅读次数:
414
写在前面前文:用python + hadoop streaming 编写分布式程序(一) --
原理介绍,样例程序与本地调试为了方便,这篇文章里的例子均为伪分布式运行,一般来说只要集群配置得当,在伪分布式下能够运行的程序,在真实集群上也不会有什么问题。为了更好地模拟集群环境,我们可以在mapred-...
分类:
编程语言 时间:
2014-05-30 14:56:56
阅读次数:
309
声明:
1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。2)本小实验工作环境为Windows系统下的百度云(联网),和Ubuntu系统的hadoop1-2-1(自己提前配好)。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3)本文由于过长,无法一次性上传。其相邻相关的博....
分类:
其他好文 时间:
2014-05-30 12:45:25
阅读次数:
563
前段时间整理5篇WIX(Windows Installer
XML)的安装教程,但还不够完善,这里继续整理了七个知识点分享给大家。
分类:
其他好文 时间:
2014-05-30 11:04:55
阅读次数:
421
在wordcount
程序的main函数中,没有读取运行环境中的各种参数的值,全靠hadoop系统的默认参数跑起来,这样做是有风险的,最突出的就是OOM错误。
自己在刚刚学习hadoop编程时,就是模仿wordcount程序编写。在数据量很小,作为demo程序跑,不会有什么问题,但当数据量激增,变成...
分类:
其他好文 时间:
2014-05-30 08:32:02
阅读次数:
176
a.
在hadoop解压目录下,找到src\contrib\eclipse-plugin\build.xml,增加如下几行: b. 在build.xml增加如下:c.
在build.xml,修改如下:d. 找到src\contrib\build-contrib....
分类:
系统相关 时间:
2014-05-29 20:48:43
阅读次数:
439
http://dongxicheng.org/mapreduce/hadoop-join-two-tables/http://dongxicheng.org/mapreduce/run-hadoop-job-problems/http://dongxicheng.org/mapreduce/hdfs...
分类:
其他好文 时间:
2014-05-29 12:27:09
阅读次数:
260