Logging?initialized?using?configuration?in?jar:file:/usr/share/hive/lib/hive-common-0.13.1.jar!/hive-log4j.properties
Exception?in?thread?"main"?java.lang.RuntimeException:?java.lang.Run...
分类:
Web程序 时间:
2014-10-30 21:05:57
阅读次数:
418
想要从日志数据中分析一下操作系统、浏览器、版本使用情况,但是hive中的函数不能直接解析useragent,于是可以写一个UDF来解析。useragent用于表示用户的当前操作系统,浏览器版本信息,形如:
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 S...
分类:
其他好文 时间:
2014-10-30 17:01:50
阅读次数:
218
现象:hive 表中的小时数据,每隔几天就会缺失一个小时的,最后发现时在做数据聚合cat的时候,失败,导致: 修改脚本,做下面的方案,解决了: ##merge 5min data into hour data ? ? ? ? ? ? ? ? ? ? ...
分类:
系统相关 时间:
2014-10-30 13:40:18
阅读次数:
271
之前也安装过hive,操作过无数,也没发现什么错误,今天因为之前安装的hadoop不能用了,不知道为什么,老是提示node 0,所以重新安装了hadoop和hive。安装完测试hive创建表也没发现什么错误,但是一旦执行create table tab_name as select * from (...
分类:
其他好文 时间:
2014-10-30 01:35:00
阅读次数:
443
环境说明: l? hadoop:2.4.0 l? Zookeeper:3.4.6 l? Hbase:0.96 l? Hive:0.13.1 ? 1.? Hive整合HBase原理 Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠Hive安装...
分类:
其他好文 时间:
2014-10-29 19:54:53
阅读次数:
407
Hive的几种常见的数据导入方式
这里介绍四种:
(1)、从本地文件系统中导入数据到Hive表;
(2)、从HDFS上导入数据到Hive表;
(3)、从别的表中查询出相应的数据并导入到Hive表中;
(4)、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。
一、从本地文件系统中导入数据到Hive表
先在Hive里面创建好表,如下:
...
分类:
其他好文 时间:
2014-10-29 19:29:20
阅读次数:
279
今天我们再谈谈Hive中的三种不同的数据导出方式。
根据导出的地方不一样,将这些方式分为三种:
(1)、导出到本地文件系统;
(2)、导出到HDFS中;
(3)、导出到Hive的另一个表中。
为了避免单纯的文字,我将一步一步地用命令进行说明。
一、导出到本地文件系统
hive> insert overwrite local directory ...
分类:
其他好文 时间:
2014-10-29 19:24:32
阅读次数:
233
呼呼,解决hive的jdbc问题花了将近一天,而且解决办法竟然是这么的简单遇到问题select * from flag where 1 =1 and cust_no = 'A3325221981121080410' limit 5java.sql.SQLException: Error whil.....
分类:
数据库 时间:
2014-10-28 21:28:18
阅读次数:
413
hive> select * from part where name='123';Totaljobs = 1Launching Job 1 out of 1Number of reduce tasks is set to 0 since there's no reduce operatorStar...
分类:
其他好文 时间:
2014-10-28 21:26:30
阅读次数:
199