hive的常见问题 1.???? org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:10000 问题:hive --service hiveserver? 启动hiveserver服务 解决方...
分类:
其他好文 时间:
2014-11-06 11:10:00
阅读次数:
357
Jdbc连接hive0.14版本
目前官网最新版本是hive0.13,要想下载最新的hive得去git上去clone一个。
Hive0.14最大特点是支持直接插入。
现在做一个jdbc连接hive0.14的例子。
需要的jar包:
不要去引入单独的一个集成hive的jar因为那个包含了tomcat里面的几个jar包。当建立hive工程时,会冲突导致hive的集成包加载不上。
1....
分类:
数据库 时间:
2014-11-05 19:48:33
阅读次数:
219
Facebook Bigdata - Presto升级到0.80。本次升级主要是支持Hive ORC读取器,提供了Cassandra 2.1.0驱动支持,还提供了对大数据查询的试验性支持。...
分类:
其他好文 时间:
2014-11-05 14:49:30
阅读次数:
255
基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析适合人群:高级课时数量:96课时用到技术:MapReduce、HDFS、Map-Reduce、Hive、Sqoop涉及项目:Greenplum Hadoop大数据分析平台联系qq:1840215592Hadoop视频教程...
分类:
其他好文 时间:
2014-11-05 12:15:18
阅读次数:
187
Driver类是对org.apache.hadoop.hive.ql.processors.CommandProcessor.java接口的实现,重写了run方法,定义了常见sql的执行方式.publicclassDriverimplementsCommandProcessor具体的方法调用顺序:run--->runInternal--->(createTxnManager+recordValidTxns)----->co..
分类:
其他好文 时间:
2014-11-05 00:35:14
阅读次数:
314
NAME PRICE---- -----AAA 1.59AAA 2.00AAA 0.75BBB 3.48BBB 2.19BBB 0.99BBB 2.50I would like to get target table:RANK NAME PRICE---- ---- -----1 ...
分类:
其他好文 时间:
2014-11-01 16:05:23
阅读次数:
132
函数名称类型命令格式用途参数说明返回值avg聚合函数avg(value)计算平均值Value: double类型,若输入为string或bigint会隐式转换到double类型后参与运算,其它类型抛异常。当value值为NULL时,该行不参与计算。Bool类型不允许参与计算。DOUBLE类型 如表T...
分类:
其他好文 时间:
2014-11-01 13:16:28
阅读次数:
159
背景: 写了一个UDF A.class放在A.jar里。A.class依赖B.jar中的B.class。B.class又依赖C.jar中的C.class。 使用add jar把A.jar、B.jar、C.jar把jar包加入classpath ?hive脚本里执行create temporary function X...
分类:
编程语言 时间:
2014-10-31 22:23:06
阅读次数:
281
优化时,把hive sql当做map reduce程序来读,会有意想不到的惊喜。
理解hadoop的核心能力,是hive优化的根本。这是这一年来,项目组所有成员宝贵的经验总结。
长期观察hadoop处理数据的过程,有几个显著的特征:
1.不怕数据多,就怕数据倾斜。
2.对jobs数比较多的作业运行效率相对比较低,比如即使有几百行的表,如果多次关联多次汇总,产生十几...
分类:
其他好文 时间:
2014-10-31 10:13:42
阅读次数:
350
目录1.hadoop分布式安装2.zookeeper分布式安装3.hbase分布式安装4.pig分布式安装5.hive客户端安装
分类:
其他好文 时间:
2014-10-31 08:45:43
阅读次数:
244