CentOS 6.4 64位 源码编译hadoop 2.2.0搭建环境:Centos 6.4
64bit1、安装JDK参考这里2、安装mavenmaven官方下载地址,可以选择源码编码安装,这里就直接下载编译好的wget
http://mirror.bit.edu.cn/apache/maven/m...
分类:
其他好文 时间:
2014-05-01 15:17:23
阅读次数:
524
直接在hql中使用中文会报错:org.apache.hadoop.ipc.RemoteException: java.io.IOException:
java.lang.RuntimeException: com.sun.org.apache.xerces.internal.impl.io.Malf...
分类:
其他好文 时间:
2014-05-01 04:26:42
阅读次数:
415
Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程
一、 配置Hadoop
源码包:hadoop-2.3.0-src.tar.gz
1. 安装以下软件:
yum -yinstall lzo-devel zlib-devel gcc autoconf automake li...
分类:
其他好文 时间:
2014-04-29 13:37:20
阅读次数:
541
HBase是Hadoop的数据库,基于Hadoop运行,是一种NoSQL数据库。
特点:分布式、多版本、面向列的存储模型,能够大规模的数据实时随机读写,可直接使用本地文件系统。
不适合:与关系型数据库相比,模型简单,API很少;不适合小规模的数据。
数据存放的位置叫做单元(cell),其中的数据可以有多个版本,根据时间戳(timestamp)来区别。
安装:
tar xfz hbase-...
分类:
其他好文 时间:
2014-04-29 13:27:22
阅读次数:
403
1 HDFS服务中,默认端口集合:
1. HDFS 端口
Service
Servers
Default Ports Used
Protocol
Description
Need End User Access?
Configuration Parameters
NameNode WebUI
Master Nodes (NameNo...
分类:
其他好文 时间:
2014-04-29 13:24:21
阅读次数:
492
安装oozie的时候,碰到了好多好多问题,都通过网上搜索找到答案解决,在这里总结一下...
分类:
其他好文 时间:
2014-04-29 13:17:22
阅读次数:
353
如何把Hadoop配置到多台机器中,构建分布式数据处理环境...
分类:
其他好文 时间:
2014-04-28 10:44:41
阅读次数:
293
写在前面:
Why to learn Python?All in picture:
开始正文啦,本文截取了笔记中的部分,其他详细内容稍微会整理呈现在博客中...
本文解决以下问题:
一、什么是Python
二、配置Windows Python环境
三、配置Python的Eclipse开发环境
四、Hello World,Python,waiting f...
分类:
编程语言 时间:
2014-04-28 10:12:41
阅读次数:
400
本文将基于hbase 0.98.1讲解其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接:,转载请注明出处!1. 安装与配置1.1. 前置条件确保已经安装了hadoop并保证hadoop运行正常。关于hbase与hadoop的版本依赖关系,请参考: https://hbase.apache.org/book/configuration.html#hadoop 关于java...
分类:
其他好文 时间:
2014-04-27 21:33:59
阅读次数:
462
Hadoop从2.4.0版本开始支持hdfs的ACL,在CDH5.0当中也继承了该特性,下面对其进行一些测试:
一、启用ACL:
dfs.permissions.enabled
true
dfs.namenode.acls.enabled
true
二、测试ACL:
①
[hadoop@master ~]$ groups
hadoop
创建目录并上传文件:
[...
分类:
其他好文 时间:
2014-04-27 21:18:00
阅读次数:
306