好久不写，一方面是工作原因，有些东西没发直接发，另外的也是习惯给丢了，内因所致。今天是个好日子，走起！btw，实际上这种格式化输出应该不只限于某一种需求，差不多是通用的。需求：--基本的：当前Hive查询结果存在数据与表头无法对其的情况，不便于监控人员直接查看，或者导出到excel中，需要提供一个脚...
分类：
其他好文 时间：
2014-05-21 23:00:39
阅读次数：
527
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase,
Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie,
Cassandra, Hama, Whirr,...
分类：
其他好文 时间：
2014-05-21 05:55:45
阅读次数：
280
今天在写一个sql的时候，使用了hive的unionall，运行时报错。sql如下：selectdimension_name,dt,dtype_name,uv,new_uv,old_uv,pv,stay_timefromtemp_bi.uv
unionall
select‘平台‘dimension_name
,dt
,app_platformdtype_name
,count(distinctmid)uv
,count(distinctcasewhenis_..
分类：
其他好文 时间：
2014-05-20 23:53:32
阅读次数：
527
前段时间遇到了一个很诡异的发生的Map阶段的OOM异常，花了些时间才找到原因，这个简要记录一下。先看log。节点一的TaskTracker的log：节点二的TaskTracker的log：节点三的TaskTracker的log：其他节点的TaskTracker中的log都和slave4的一样的：故障分析：OOM是一个比较常见的故..
分类：
其他好文 时间：
2014-05-20 22:15:47
阅读次数：
422
1.更新，事务，索引，不支持，是全表扫描2.创建表的字段类型和java类型是对应的。不支持日期类型，提供转换为字符串类型的函数。3.查询语句中，不支持having，可写嵌套的select来解决；group
by后只能是表的定义列名，不能像mysql那样可以为查询语句为逻辑处理结果声明的别名，但可为逻...
分类：
其他好文 时间：
2014-05-19 19:04:30
阅读次数：
331
hive有textFile,SequenceFile,RCFile三种文件格式。textfile为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。SequenceFile,RCFile格式的表不能直接从本地文件导入数据，数据要先导入到textfile格式的...
分类：
其他好文 时间：
2014-05-19 08:33:35
阅读次数：
349
简单的创建表create table table_name ( id int,
dtDontQuery string, name string)创建有分区的表create table table_name ( id ...
分类：
其他好文 时间：
2014-05-19 08:30:57
阅读次数：
493
本来源码编译没有什么可说的，对于java项目来说，只要会点maven或ant的简单命令，依葫芦画瓢，一下子就ok了。但到了Spark上面，事情似乎不这么简单，按照spark
officical document上的来做，总会出现这样或那样的编译错误，让人懊恼不已。
分类：
其他好文 时间：
2014-05-18 20:25:57
阅读次数：
391
1
HIVE入门操作
1.1
连接环境
登陆成功显示如下：
输入 quit;
可退出hive环境
1.2
查看数据库
show databases;
1.3
创建数据库
create database mng;
1.4
链接数据库
use mng;
成功显示如下：...
分类：
其他好文 时间：
2014-05-18 18:44:37
阅读次数：
311
Hive安装配置详解本文主要是在Hadoop单机模式中演示Hive默认（嵌入式Derby模式）安装配置过程。1、下载安装包到官方网站下载最新的安装包，这里以Hive-0.12.0为例：$tar-zxfhive-0.12.0-bin.tar.gz-C/home/ubuntu/hive-0.12.0在这里，HIVE_HOME=”/home/ubuntu/hive-0.12.0”。..
分类：
其他好文 时间：
2014-05-16 02:36:44
阅读次数：
369
