函数分类oraclehive说明字符函数upper（'coolszy'）upper(stringA)ucase(stringA)将文本字符串转换成字母全部大写形式lower（'KUKA'）lower(stringA)lcase(stringA)将文本字符串转换成字母全部小写形式initca...
分类：
其他好文 时间：
2014-11-22 17:22:00
阅读次数：
407
引言
Oozie是Hadoop生态系统中的工作流控制组件，可以调度MR，Hive，Shell等各类任务，并配置复杂的工作流程。
今天介绍如何安装部署，使用的是单机测试环境。
欢迎转载，请注明来源：
下载解压
下载安装过程需要的相关文件：
oozie4.0.0安装包
http://archive.cloudera.com/cdh5...
分类：
其他好文 时间：
2014-11-21 20:36:49
阅读次数：
346
一、引子今天在跑一段很复杂而且涉及数据量10年的N个表join的长SQL时，发生了OOM的异常。由于一个map通常配置只有64MB或者128MB，则在Map阶段出现OOM的情况很少见。所以一般发生在reduce阶段。但是今天这个异常详细的看后，会发现既不是map阶段，也不是reduce阶段，发现不是执行过程，而是driver提交job阶段就OOM了。Hive中XMLEncoder序列化Mapred...
分类：
其他好文 时间：
2014-11-21 20:33:32
阅读次数：
234
1.1 产品概述
VDataHub基于Apache Sqoop，最初定位是用于将关系数据库中的数据导入Hadoop/Hive/HBase。Sqoop基于Hadoop的MapReduce来完成数据导入导出工作，提供了很好的容错性。刚开始项目组也仅仅直接采用社区版本来完成数据导入导出。但在使用过程中，我们发现有很多地方是Sqoop现有版本没法支持的，如果不解决，是不能用于现有数据平台建设中的。
基...
分类：
其他好文 时间：
2014-11-21 18:50:54
阅读次数：
317
由于目前公司大量的数据存储在HBase中，各个业务线需要对HBase进行即时查询，但是又不方便实现自己的基于HBase Client的API的数据访问实现，他们希望能够像Hive对HDFS中的数据进行ETL一样，可以对HBase中的数据进行SQL操作 我们最初考虑的方式是Hive On HBa...
分类：
其他好文 时间：
2014-11-21 12:27:24
阅读次数：
190
静态分区表：一级分区表：CREATE TABLE order_created_partition ( orderNumber STRING , event_time STRING)PARTITIONED BY (event_month string)ROW FORMAT DELIMITED...
分类：
其他好文 时间：
2014-11-20 18:21:25
阅读次数：
343
一句话，Hive 开发比 Pig快多了... 从hdfs读取数据：Hive: CREATE EXTRENAL TABLE IF NOT EXIST (domain string, num int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' loc...
分类：
其他好文 时间：
2014-11-20 13:27:34
阅读次数：
174
Hive自身查询语言HQL能完成大部分的功能，但遇到特殊需求时，需要自己写UDF实现。以下是一个完整的案例。
1、eclipse中编写UDF
①项目中加入hive的lib下的所有jar包和Hadoop中share下hadoop-common-2.5.1.jar（Hadoop目前最新版本2.5.1）。
②UDF类要继承org.apache.hadoop.hive.ql.exec.UDF类，类中...
分类：
其他好文 时间：
2014-11-19 22:17:44
阅读次数：
350
hive concat_w实现将多行记录合并成一行...
分类：
其他好文 时间：
2014-11-19 20:37:53
阅读次数：
524
方式一: hadoop命令导出hadoop fs -get hdfs://hadoop000:8020/data/page_views2 pv2方式二:通过insert...directory导出 【spark暂不支持】导出到本地：INSERT OVERWRITE LOCAL directory.....
分类：
其他好文 时间：
2014-11-19 18:12:24
阅读次数：
181
