《Hadoop权威指南(第2版)》来讲,伪分布式(pseude-distributed model)是指Hadoop守护进程运行在本地机器上,模拟一个小规模的集群。这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker...
分类:
其他好文 时间:
2015-07-13 18:17:03
阅读次数:
144
第一步:安装JAVA 1.7 此步骤略过,太简单了,可参考这个: http://blog.sina.com.cn/s/blog_6a7cdcd40101b1j6.html 第二步:创建Haddop专用用户 虽然使用root用户也可以部署hadoop,但从系统安全及规范的角度考虑,还是建议大家创建专用...
分类:
其他好文 时间:
2015-07-12 23:01:42
阅读次数:
329
1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.8.0 子网掩码:255.255.255.0 -> apply -> ok 回到windo....
分类:
其他好文 时间:
2015-07-02 15:37:03
阅读次数:
160
前提:1、搭建好hadoop伪分布式环境;2、安装好eclipse;注:修改 /etc/hosts 添加 “本机IP hadoop01” , 那么代码中创建hdfs文件系统的时候的URIhdfs://hadoop01:9000相当于 hdfs://hadoop服务器ip(例如:192.168.1.....
分类:
编程语言 时间:
2015-06-13 06:22:00
阅读次数:
121
一. 概要 经过几天的调试,终于在Linux Cent OS 5.5下成功搭建Hadoop测试环境。本次测试在一台服务器上进行伪分布式搭建。Hadoop 伪分布式模式是在单机上模拟 Hadoop 分布式,单机上的分布式并不是真正的伪分布式,而是使用线程模拟分布式。Hadoop 本身是无法区分伪分布....
分类:
其他好文 时间:
2015-06-11 06:57:39
阅读次数:
144
一、Hadoop组件依赖关系:步骤1)关闭防火墙和禁用SELinux切换到root用户关闭防火墙:service iptables stop禁用SELinuxvim /etc/sysconfig/selinux 设置SELinux=disabled2)设置静态IPvim /etc/sysconfig...
分类:
其他好文 时间:
2015-06-09 21:41:39
阅读次数:
111
1.软件下载:wgethttp://apache.dataguru.cn/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gzwgethttp://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz2.配置安装java:tar-zxvfjdk-7u79-linux-x64.tar.gz-C/usr/localcd/usr/localchown-Rroot./usr..
分类:
其他好文 时间:
2015-05-25 06:14:26
阅读次数:
179
一、安装JDK :http://www.cnblogs.com/E-star/p/4437788.html二、配置SSH免密码登录1、安装所需软件 sudo apt-get install install ssh2、配置ssh免密码登录 ssh-keygen -t dsa -P '' -...
分类:
系统相关 时间:
2015-04-18 18:54:32
阅读次数:
208