在虚拟机中用rhel6.5装了单机伪分布式的Hadoop，在宿主机中使用JAVA API开发程序，遇到了一些问题及解决：1、连接不上关掉iptables，最简单粗暴的方法设置策略，允许远程访问端口才是正确的解决方式，具体方式还要学习。注意：要在root下调用哦#> service iptables ...
分类：
其他好文 时间：
2014-08-24 16:34:52
阅读次数：
192
Hadoop的伪分布式安装步骤使用root用户登录1.1设置静态ip在centos桌面右上角的图标上，右键修改。重启网卡，执行命令servicenetworkrestart验证：执行命令ifconfig1.2修改主机名修改当前会话中的主机名，执行命令hostnamehadoop(要修改的主机名称)修...
分类：
其他好文 时间：
2014-08-20 15:56:52
阅读次数：
190
下面介绍myeclipse与hadoop的集成。我用的myeclipse版本是8.5.1、安装hadoop开发插件在hadoop1.2.1版本的安装包contrib/目录下，已经不再提供hadoop-eclipse-pligin-1.2.1.jar;而是提供了源代码文件，需要我们自行重新编译成jar...
下面开始hadoop的安装与配置；（1）安装jdk我安装的是JDK1.7.0_40，windows x64版的下载完之后，直接点击安装，我的安装路径为默认路径：C:\Program Files\Java\jdk1.7.0_40；安装完毕后，设置环境变量：JAVA_HOME指向JDk安装目录PATH指...
hadoop的运行环境应该是在linux环境。如果想在windows环境下安装和运行hadoop，一般有两种方式：一种是VM的方式linux操作系统，这样可以实现全linux环境的hadoop运行；另一种方式安装cygwin模拟linux环境，该方法相对比较简单方便。本文采取cywin的方式。下面将...
hive0.13.1在hadoop2.4.1伪分布式部署上安装过程环境：redhat enterprice 6.5 +hadoop2.4.1+hive0.13.1+mysql单节点伪分布式部署相关网址：hive官网安装指导：https://cwiki.apache.org/confluence/di...
分类：
数据库 时间：
2014-08-09 21:21:09
阅读次数：
357
实施Hadoop集群--伪分布式安装准备与配置安装环境 安装虚拟机和linux，虚拟机推荐使用vmware，PC可以使用workstation，服务器可以使用ESXi，在管理上比较方便。ESXi还可以通过拷贝镜像文件复制虚拟机，复制后自动修改网卡号和ip，非常快捷。如果只是实验用途，硬盘大约预留20-30G空间。 以Centos为例，分区可以选择默认[如果想要手动分区,请参考博客:http:/...
分类：
其他好文 时间：
2014-08-08 09:40:15
阅读次数：
505
在本机上装的CentOS 5.5 虚拟机， 软件准备：jdk 1.6 U26 hadoop:hadoop-0.20.203.tar.gzssh检查配置Linux代码 [root@localhost~]#ssh-keygen-trsaGeneratingpublic/privatersakeypair...
分类：
其他好文 时间：
2014-07-17 21:39:54
阅读次数：
551
写在前面前文：用python + hadoop streaming 编写分布式程序（一） --
原理介绍，样例程序与本地调试为了方便，这篇文章里的例子均为伪分布式运行，一般来说只要集群配置得当，在伪分布式下能够运行的程序，在真实集群上也不会有什么问题。为了更好地模拟集群环境，我们可以在mapred-...
分类：
编程语言 时间：
2014-05-30 14:56:56
阅读次数：
309
Step1:关闭防火墙 service iptables stop[status] service
iptables status chkconfig --list |grep iptables chkconfig iptables offStep2:修改IP
(重启网卡：se...
分类：
其他好文 时间：
2014-05-16 21:22:50
阅读次数：
318
