FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
未启动hive元...
分类：
数据库 时间：
2014-08-19 19:06:55
阅读次数：
281
如果分区是可以确定的话，千万不要用动态分区，动态分区的值是在reduce运行阶段确定的.也就是会把所有的记录distribute by。 可想而知表记录非常大的话，只有一个reduce 去处理，那简直是疯狂的。如果这个值唯一或者事先已经知道，比如按天分区(i_date=20140819) 那就用静态分区吧。静态分区在编译阶段已经确定，不需要reduce处理。 例如以下两个insert
表分区：...
分类：
其他好文 时间：
2014-08-19 16:30:24
阅读次数：
443
今天在CDH上执行hivesql的时候报了一个错。错误内容为：FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.MoveTask错误语句：INSERTOVERWRITEDIRECTORY‘{$dir}‘select*fromtmp_analyse_oswherelogdata=‘{$begin}‘;错误原因：hive源码会检查导出的路径是否..
分类：
其他好文 时间：
2014-08-18 18:53:13
阅读次数：
260
首先检查系统安装的mysql版本，使用命令 rpm -qa | grep mysql若要安装自己的版本，则先执行删除操作 rpm -e xxxxx.rpm --nodeps然后安装自己的版本， rpm -i xxxxx.rpm 远程连接mysql，操作步骤如下：1、进入mysql环境中 mysql ...
分类：
数据库 时间：
2014-08-18 01:26:53
阅读次数：
276
hadoop是一种分布式系统的平台，通过它可以很轻松的搭建一个高效、高质量的分布系统，而且它还有许多其它的相关子项目，也就是对它的功能的极大扩充，包括Zookeeper,Hive,Hbase等。MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是..
分类：
其他好文 时间：
2014-08-17 01:11:02
阅读次数：
241
本文所用环境为3台hadoop2.2，hbase已经安装完毕，具体安装可参照前两篇文章。hive适用的元数据库为mysql，所以master上要安装mysql，用系统自带的即可，这里不在详述。(1)安装hive解压#tarzvxfhive-0.12.0.tar.gz-C/usr
#cd/usr
#mvhive-0.12.0hive2.替换jar包，保持hbase0.96..
分类：
其他好文 时间：
2014-08-16 09:49:41
阅读次数：
303
hive按当天日期建立分区表 | 动态往日期分区插入数据...
分类：
其他好文 时间：
2014-08-15 19:39:10
阅读次数：
352
一、 Hive join优化
1. 尽量将小表放在join的左边，我们这边使用的hive-0.12.0,所以是自动转化的，既把小表自动装入内存，执行map side join(性能好), 这是由参数hive.auto.convert.join=true 和hive.smalltable.filesize=25000000L）参数控制（默认是25M），如果表文件大小在25M左右，可...
分类：
其他好文 时间：
2014-08-15 17:50:39
阅读次数：
272
