Hadoop2.6.0伪分布环境搭建
用到的软件:
一、安装jdk:
1、要安装的jdk,我把它拷在了共享文件夹里面。
(用优盘拷也可以)
2、我把jdk拷在了用户文件夹下面。
(其他地方也可以,不过路径要相应改变)
3、执行复制安装解压命令:
解压完毕:
查看解压的文件夹:
4、配置 环境变量:
写入如下5行代码:
使配置生效:...
分类:
其他好文 时间:
2015-01-21 09:02:43
阅读次数:
207
一:安装JDKhadoop 是以java语言写的,因此需要在本地计算机上预先安装JDK,安装JDK的方法这里不再详述。二:创建hadoop用户为hadoop创建一个专门的用户,将所有的hadoop的工作放到这个用户下。$sudo adduser hadoop回车后会提示输入新建用户hadoop的密码...
分类:
系统相关 时间:
2015-01-19 20:41:24
阅读次数:
242
1.编辑conf/hbase-env.sh来告知HBasejava的安装路径.在这个文件里你还可以设置HBase的运行环境,诸如 heapsize和其他JVM有关的选项, 还有Log文件地址,等等. 设置JAVA_HOME指向java安装的路径.2.运 行HBase需要设置hbase.rootdir...
分类:
其他好文 时间:
2015-01-19 20:38:47
阅读次数:
196
1.zookeeper3.4.6的安装与使用学习环境使用为分布式的安装方式下载解压配置修改数据存放目录,端口复制配置到zoo1.cfg,zoo2.cfg,zoo3.cfg创建节点标识启动集群测试
分类:
其他好文 时间:
2015-01-14 18:26:29
阅读次数:
135
首先下载安装,这个就不说了,去apache官网下载安装,貌似186M,很大
解压后,我们看下目录结构如下:
[root@com23 hadoop-2.6.0]# ll
total 64
drwxr-xr-x 2 20000 20000 4096 Nov 14 05:20 bin
drwxr-xr-x 3 20000 20000 4096 Nov 14 05:20 etc
drwxr-xr-...
分类:
其他好文 时间:
2015-01-14 16:53:54
阅读次数:
448
安装Hadoop时候需要设置SSH ,故将此过程记录下来 推荐安装 OpenSSH , Hadoop 需要通过 SSH 来启动 Slave 列表中各台主机的守护进程,因此 SSH 是必需安装的。虽然我们现在搭建的是一个伪分布式的平台,但是 Hadoop 没有区分开集群式和伪分布式,对于伪分布...
分类:
系统相关 时间:
2015-01-07 14:54:24
阅读次数:
464
紧接着《Hadoop入门学习笔记---part3》中的继续了解如何用java在程序中操作HDFS。 众所周知,对文件的操作无非是创建,查看,下载,删除。下面我们就开始应用java程序进行操作,前提是按照《Hadoop入门学习笔记---part2》中的已经在虚拟机中搭建好了Hadoop伪分布环...
分类:
其他好文 时间:
2015-01-04 22:43:07
阅读次数:
270
可参阅官方文档http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html文件下载:http://mirrors.hust.edu.cn/apache/hadoop/common/注:可直接使用2.5.2或2.6.0版本都解决了2.5.1中不稳定bug1伪分布式部署以测试通过的为例Linuxversion..
分类:
其他好文 时间:
2015-01-04 19:36:21
阅读次数:
254
1.伪分布式的安装1.1修改ip(1)打开VMWare或者VirtualBox的虚拟网卡(2)在VMWare或者VirtualBox设置网络连接方式为host-only(3)在linux中,修改ip。有上角的图标,右键,选择Edit Connections....****ip必须与windows下虚...
分类:
其他好文 时间:
2015-01-02 17:20:39
阅读次数:
303
2015年元旦,好好学习,天天向上。良好的开端是成功的一半,任何学习都不能中断,只有坚持才会出结果。继续学习Hadoop。冰冻三尺,非一日之寒! 经过Hadoop的伪分布集群环境的搭建,基本对Hadoop有了一个基础的了解。但是还是有一些理论性的东西需要重复理解,这样才能彻底的记住它们。个人认为重....
分类:
其他好文 时间:
2015-01-01 19:48:18
阅读次数:
228