基础配置:Hadoop 2.2.0,Hbase
0.96。四台集群机器,一台master,三台slave。三台slave上分别装gmond;namenode机器上设置datasource。客户端:安装wget:sudo
yum -y install wget安装epel库: a) 下载epel r....
分类:
其他好文 时间:
2014-07-22 23:08:34
阅读次数:
573
对Cli的重新认识*). hive cli有两种模式, 本地模式:
采用持有的driver对象来处理, 远程模式: 通过连接HiveServer来实现, 由此可见之前的架构图中的描述还是模糊且带有误导性*).
支持singal的处理支持, 比如对ctrl+c中断, 需要两次才完全退出交互*). 交互...
分类:
其他好文 时间:
2014-05-01 08:20:07
阅读次数:
415
直接在hql中使用中文会报错:org.apache.hadoop.ipc.RemoteException: java.io.IOException:
java.lang.RuntimeException: com.sun.org.apache.xerces.internal.impl.io.Malf...
分类:
其他好文 时间:
2014-05-01 04:26:42
阅读次数:
415
在将ORACLE存储过程迁移到HIVE平台时,不可避免地会遇到各种问题。
ORACLE与HIVE都使用SQL语句,但是语法和特性不尽相同,本文简述了几个迁移时需要注意的地方。...
分类:
数据库 时间:
2014-04-30 22:31:40
阅读次数:
526
安装与配置1.下载hive-0.12.0.tar.gz,并使用以下命令解压。
tar-zxvfhive-0.12.0.tar.gz解压后文件夹为:hive-0.12.02.移动hive-0.12.0到opt目录下,命令如下。
sudomvhive-0.12.0/opt/hive-0.12.03.设置...
分类:
其他好文 时间:
2014-04-30 13:58:34
阅读次数:
382
Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程
一、 配置Hadoop
源码包:hadoop-2.3.0-src.tar.gz
1. 安装以下软件:
yum -yinstall lzo-devel zlib-devel gcc autoconf automake li...
分类:
其他好文 时间:
2014-04-29 13:37:20
阅读次数:
541
HBase是Hadoop的数据库,基于Hadoop运行,是一种NoSQL数据库。
特点:分布式、多版本、面向列的存储模型,能够大规模的数据实时随机读写,可直接使用本地文件系统。
不适合:与关系型数据库相比,模型简单,API很少;不适合小规模的数据。
数据存放的位置叫做单元(cell),其中的数据可以有多个版本,根据时间戳(timestamp)来区别。
安装:
tar xfz hbase-...
分类:
其他好文 时间:
2014-04-29 13:27:22
阅读次数:
403
FAILED: Error in metadata: java.lang.RuntimeException: MetaException(message:org.apache.hadoop.hive.serde2.SerDeException org.apache.hadoop.hive.hbase.HBaseSerDe: columns has 3 elements while hbase.columns.mapping has 4 elements (counting the key if implic...
分类:
其他好文 时间:
2014-04-29 13:17:21
阅读次数:
387
Java Client API Overview
HBase是用Java写的,支持用编程语言来动态操作管理数据库,能用命令行做的都可以用API来做。
基本的使用过程如下:
1.创建一个 Configuration 对象
–从 HDFS 对象中调用 Configuration
–添加 HBase 属性
Configuration conf = HbaseConfiguration....
分类:
编程语言 时间:
2014-04-29 13:12:21
阅读次数:
410
本文将基于hbase 0.98.1讲解其在linux集群上的安装方法,并对一些重要的设置项进行解释,本文原文链接:,转载请注明出处!1. 安装与配置1.1. 前置条件确保已经安装了hadoop并保证hadoop运行正常。关于hbase与hadoop的版本依赖关系,请参考: https://hbase.apache.org/book/configuration.html#hadoop 关于java...
分类:
其他好文 时间:
2014-04-27 21:33:59
阅读次数:
462