在这篇blog中,我们将介绍Hbase的单机模式安装与伪分布式的安装方式,以及通过浏览器查看Hbase的用户界面。搭建hbase伪分布式环境的前提是我们已经搭建好了hadoop完全分布式环境,搭建hadoop环境请参考:【Hadoop基础教程】4、Hadoop之完全分布式环境搭建
开发环境
硬件环境:Centos 6.5 服务器4台(一台为Master节点,三台为Slave节点)...
分类:
其他好文 时间:
2015-03-05 19:28:56
阅读次数:
213
上一篇blog我们介绍了Hbase的单机模式安装与伪分布式的安装方式,本篇blog我们将详细介绍如何搭建hbase完全分布式环境,搭建hbase完全分布式环境的前提是我们已经搭建好了hadoop完全分布式环境,搭建hadoop完全分布式环境请参考:【Hadoop基础教程】4、Hadoop之完全分布式环境搭建...
分类:
其他好文 时间:
2015-03-05 19:27:52
阅读次数:
144
开发环境
1安装环境
2 用户配置
2 sudo权限配置
3 网络配置
4 关闭防火墙
5 安装JDK工具
您可能喜欢
本blog以K-Master服务器基础环境配置为例分别演示用户配置、sudo权限配置、网路配置、关闭防火墙、安装JDK工具等。用户需参照以下步骤完成KVMSlave1~KVMSlave3服务器的基础环境配置。开发环境硬件环境:Centos 6.5 服务器4台(一台为Mas...
分类:
其他好文 时间:
2015-03-04 09:52:10
阅读次数:
185
单机模式所需要的系统资源是最少的,这种安装模式下,Hadoop的core-site.xml、mapred-site.xml、hdfs-site.xml配置文件均为空。默认情况下,官方hadoop-1.2.1.tar.gz文件默认使用的就是单机安装模式。当配置文件为空时,Hadoop完全运行在本地,不与其他节点交互,也不使用Hadoop文件系统,不加载任何守护进程,该模式主要用于开发调试MapRedu...
分类:
其他好文 时间:
2015-03-04 09:50:35
阅读次数:
196
单词计数是最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版“Hello World”,该程序的完整代码可以在Hadoop安装包的src/example目录下找到。单词计数主要完成的功能:统计一系列文本文件中每个单词出现的次数,如下图所示。本blog将通过分析WordCount源码来帮助大家摸清MapReduce程序的基本结构和运行机制。开发环境硬件环境:Centos...
分类:
其他好文 时间:
2015-03-04 09:48:48
阅读次数:
189
上一篇blog我们完成了Hadoop伪分布式环境的搭建,伪分布式模式也叫单节点集群模式, NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker所有的守护进程全部运行在K-Master节点之上。在本篇blog我们将搭建完全分布式环境,运行NameNode、SecondaryNameNode、JobTracker守护进程在主节点上,运行Da...
分类:
其他好文 时间:
2015-03-04 09:47:45
阅读次数:
142
1. 两者分别是什么? Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能...
分类:
其他好文 时间:
2015-02-04 23:15:56
阅读次数:
433
http://blog.csdn.net/xuqianghit/article/details/6580253使用java api操作Hadoop文件http://www.tuicool.com/articles/VJRrArzjava api hdfshttp://www.cnblogs.com/...
分类:
其他好文 时间:
2015-02-03 19:20:09
阅读次数:
129
经过前年的初次接触,现在已大约能理解整个体系啦。MAPREDUCE都改成YARN啦。不过,还得继续往前走,再能实用。。。HIVE,HBASE,ZOOKEEPER,,思路如下:安装系统,配置网络及计算机名配置SSH登陆安装及JAVA及配置JAVE_HOME,配置HADOOP基础,在WEB下查看端口及测...
分类:
其他好文 时间:
2015-01-22 19:42:28
阅读次数:
214
Hadoop2.0源码包简介1、解压源码包:2、目录结构:hadoop-common-project:Hadoop基础库所在目录,如RPC、Metrics、Counter等。包含了其它所有模块可能会用到的基础库。hadoop-mapreduce-project:MapReduce框架的实现,在第一代...
分类:
其他好文 时间:
2015-01-17 23:29:42
阅读次数:
261