直接在hql中使用中文会报错：org.apache.hadoop.ipc.RemoteException: java.io.IOException:
java.lang.RuntimeException: com.sun.org.apache.xerces.internal.impl.io.Malf...
分类：
其他好文 时间：
2014-05-01 04:26:42
阅读次数：
415
Hadoop2.3.0+Hbase0.96.1.1+Hive0.14.0+Zookeeper3.4.6+Sqoop1.99.3安装配置流程
一、 配置Hadoop
源码包：hadoop-2.3.0-src.tar.gz
1. 安装以下软件：
yum -yinstall lzo-devel zlib-devel gcc autoconf automake li...
分类：
其他好文 时间：
2014-04-29 13:37:20
阅读次数：
541
HBase是Hadoop的数据库，基于Hadoop运行，是一种NoSQL数据库。
特点：分布式、多版本、面向列的存储模型，能够大规模的数据实时随机读写，可直接使用本地文件系统。
不适合：与关系型数据库相比，模型简单，API很少；不适合小规模的数据。
数据存放的位置叫做单元(cell)，其中的数据可以有多个版本，根据时间戳(timestamp)来区别。
安装：
tar xfz hbase-...
分类：
其他好文 时间：
2014-04-29 13:27:22
阅读次数：
403
1 HDFS服务中，默认端口集合：
1. HDFS 端口
Service
Servers
Default Ports Used
Protocol
Description
Need End User Access?
Configuration Parameters
NameNode WebUI
Master Nodes (NameNo...
分类：
其他好文 时间：
2014-04-29 13:24:21
阅读次数：
492
1、Map-Reduce的逻辑过程
假设我们需要处理一批有关天气的数据，其格式如下：
按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第25位是符号+/-
0067011990999991950051507+0000+
0043011990999991950051512+0022+
00430119...
分类：
其他好文 时间：
2014-04-29 13:22:20
阅读次数：
309
安装oozie的时候，碰到了好多好多问题，都通过网上搜索找到答案解决，在这里总结一下...
分类：
其他好文 时间：
2014-04-29 13:17:22
阅读次数：
353
如何把Hadoop配置到多台机器中，构建分布式数据处理环境...
分类：
其他好文 时间：
2014-04-28 10:44:41
阅读次数：
293
写在前面：
Why to learn Python？All in picture：
开始正文啦，本文截取了笔记中的部分，其他详细内容稍微会整理呈现在博客中...
本文解决以下问题：
一、什么是Python
二、配置Windows Python环境
三、配置Python的Eclipse开发环境
四、Hello World，Python，waiting f...
分类：
编程语言 时间：
2014-04-28 10:12:41
阅读次数：
400
本文将基于hbase 0.98.1讲解其在linux集群上的安装方法，并对一些重要的设置项进行解释，本文原文链接：，转载请注明出处！1. 安装与配置1.1. 前置条件确保已经安装了hadoop并保证hadoop运行正常。关于hbase与hadoop的版本依赖关系，请参考: https://hbase.apache.org/book/configuration.html#hadoop 关于java...
分类：
其他好文 时间：
2014-04-27 21:33:59
阅读次数：
462
Hadoop从2.4.0版本开始支持hdfs的ACL，在CDH5.0当中也继承了该特性，下面对其进行一些测试：
一、启用ACL：
dfs.permissions.enabled
true
dfs.namenode.acls.enabled
true
二、测试ACL：
①
[hadoop@master ~]$ groups
hadoop
创建目录并上传文件：
[...
分类：
其他好文 时间：
2014-04-27 21:18:00
阅读次数：
306
