码迷,mamicode.com
首页 >  
搜索关键字:spark on hive    ( 12366个结果
Hive技术拾遗
1. SELECT语句可以使用正则表达式做列选择,下面的语句查询除了ds和h 之外的所有列:SELECT `(ds|hr)?+.+` FROM sales2. LEFT SEMI JOIN的限制是, JOIN子句中右边的表只能在ON子句中设置过滤条件,在WHERE子句、SELECT子句或其他地方过滤...
分类:其他好文   时间:2014-05-16 06:22:00    阅读次数:283
Apache Spark源码走读之8 -- Spark on Yarn
Hadoop2中的Yarn是一个分布式计算资源的管理平台,由于其有极好的模型抽象,非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理,集群中计算资源的管理与分配。Yarn为应用程序开发提供了比较好的实现标准,Spark支持Yarn部署,本文将就Spark如何实现在Yarn...
分类:其他好文   时间:2014-05-16 04:20:26    阅读次数:455
hive常用命令
hive常用命令...
分类:其他好文   时间:2014-05-15 23:03:56    阅读次数:277
Hive常用命令
创建表: hive> CREATE TABLE pokes (foo INT, bar STRING);          Creates a table called pokes with two columns, the first being an integer and the other a string 创建一个新表,结构与其他一样 hive> create table n...
分类:其他好文   时间:2014-05-15 07:07:58    阅读次数:303
Spark1.0.0 学习路线
接触了Spark也快有半年了,版本从0.8.0到现在的1.0.0SNAPSHOT,从头到尾被spark这个优秀的框架深深吸引,也为scala的优雅所折服。4.19日“2014 中国Spark技术峰会”召开,可以看出随着Spark技术的完善,越来越多的企业已经开始使用或开始关注Spark的发展了。回顾学习过程,觉得很有必要整理一份学习路线,对所学的内容加以沉淀,同时也为同行作为参考。因为Spark1...
分类:其他好文   时间:2014-05-15 06:07:33    阅读次数:357
HDFS HA系列实验之四:HA+Federation
本篇的配置环境是基于HDFS HA系列实验之二:HA+JournalNode+zookeeper  上进行的。1:原理图   A:实验环境之组成DNS:productserverHA1(nameservices为cluster1):product201、product202HA2(nameservices为cluster2):product211、product212DN:product203、p...
分类:其他好文   时间:2014-05-15 05:59:29    阅读次数:323
Shark0.9.0安装
Shark0.9.0错误如下: Starting the Shark Command Line Client Exception in thread "main" java.lang.UnsupportedClassVersionError: org/apache/hadoop/hive/cli/CliDriver : Unsupported major.minor version 51.0...
分类:其他好文   时间:2014-05-15 05:42:17    阅读次数:375
hive-0.10.0-cdh4.3.0安装
1.我使用的Hadoop2.0-cdh4.3.0,对应hive配套版本hive-0.10.0-cdh4.3.0。    2.修改hive/conf下hive-site.xml文件,无则创建hive-site.xml,在底部添加如下内容:  [html] view plaincopy xml version="1.0" encoding="UTF-8"...
分类:其他好文   时间:2014-05-15 04:05:27    阅读次数:341
hive执行query语句时提示错误:org.apache.hadoop.ipc.RemoteException: java.io.IOException: java.io.IOException:
hive执行query语句时提示错误:org.apache.hadoop.ipc.RemoteException: java.io.IOException: java.io.IOException:...
分类:编程语言   时间:2014-05-14 21:49:08    阅读次数:378
Hive sql 语法解读
一、 创建表      在官方的wiki里,example是这样的: Sql代码   CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name    [(col_name data_type [COMMENT col_comment], ...)]    [COMMENT table_comment]    [PARTITION...
分类:数据库   时间:2014-05-14 14:50:27    阅读次数:463
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!