码迷,mamicode.com
首页 >  
搜索关键字:hadoop webseven 安装部署    ( 16178个结果
update cdh version ,but cdh use old conf ,problem solve
最近升级cdh版本,从4.5 升级到 5.0.0 beta-2 但是升级后,发现/etc/alternatives 路径下的软链接还是只想旧的4.5 版本,而且hadoop环境也是沿用4.5 的版本conf,导致hive不能正常使用,报错为hdfs 的版本不对。 后面使用strace工具查看,发现它...
分类:其他好文   时间:2014-06-07 02:44:21    阅读次数:248
python调用java
这么个标题多少有点蛋疼的感觉,两个都是互联网时代的语言,学习成本和执行效率也差不多,之所以会产生这种需求,多半是想在python中引用java的类,例如安卓和hadoop的生态圈,基本是java代码的天下,虽然python大数据有不错的接口,但直接调用java的需求总是有的。这个目前已经有解决方案,...
分类:编程语言   时间:2014-06-04 20:52:14    阅读次数:261
Hadoop 2.0安装以及不停集群加datanode
Hadoop2.0是对Hadoop1.0全面升级,诞生了通用的计算框架YARN,很多计算框架或者应用程序不再基于传统的操作系统开发,而是基于YARN这个云操作系统。典型的代表是DAG计算框架Tez,当然还有一些其他知名的自运行的计算集群系统也在YARN上有开源版本,比如Storm-on-yarn,S...
分类:其他好文   时间:2014-06-03 13:09:44    阅读次数:336
在Eclipse中执行、配置Hadoop
版权全部: zhe-jiang.he@hp.com 严禁转载!1.安装插件准备程序:eclipse-3.3.2(这个版本号的插件仅仅能用这个版本号的eclipse)hadoop-0.20.2-eclipse-plugin.jar (在hadoop-0.20.2/contrib/eclipse-plu...
分类:系统相关   时间:2014-06-03 12:15:46    阅读次数:414
用python + hadoop streaming 编写分布式程序(二) -- 在集群上运行与监控
写在前面前文:用python + hadoop streaming 编写分布式程序(一) -- 原理介绍,样例程序与本地调试为了方便,这篇文章里的例子均为伪分布式运行,一般来说只要集群配置得当,在伪分布式下能够运行的程序,在真实集群上也不会有什么问题。为了更好地模拟集群环境,我们可以在mapred-...
分类:编程语言   时间:2014-05-30 14:56:56    阅读次数:309
Hadoop的改进实验(中文分词词频统计及英文词频统计)(1/4)
声明: 1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。2)本小实验工作环境为Windows系统下的百度云(联网),和Ubuntu系统的hadoop1-2-1(自己提前配好)。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3)本文由于过长,无法一次性上传。其相邻相关的博....
分类:其他好文   时间:2014-05-30 12:45:25    阅读次数:563
WIX 安装部署教程(六) 为你收集的七个知识点
前段时间整理5篇WIX(Windows Installer XML)的安装教程,但还不够完善,这里继续整理了七个知识点分享给大家。
分类:其他好文   时间:2014-05-30 11:04:55    阅读次数:421
hadoop wordcount程序缺陷
在wordcount 程序的main函数中,没有读取运行环境中的各种参数的值,全靠hadoop系统的默认参数跑起来,这样做是有风险的,最突出的就是OOM错误。 自己在刚刚学习hadoop编程时,就是模仿wordcount程序编写。在数据量很小,作为demo程序跑,不会有什么问题,但当数据量激增,变成...
分类:其他好文   时间:2014-05-30 08:32:02    阅读次数:176
编译hadoop-eclipse-plugins-1.2.1插件步骤
a. 在hadoop解压目录下,找到src\contrib\eclipse-plugin\build.xml,增加如下几行: b. 在build.xml增加如下:c. 在build.xml,修改如下:d. 找到src\contrib\build-contrib....
分类:系统相关   时间:2014-05-29 20:48:43    阅读次数:439
Hadoop中两表JOIN的处理方法
http://dongxicheng.org/mapreduce/hadoop-join-two-tables/http://dongxicheng.org/mapreduce/run-hadoop-job-problems/http://dongxicheng.org/mapreduce/hdfs...
分类:其他好文   时间:2014-05-29 12:27:09    阅读次数:260
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!