什么是MapJoin?
MapJoin顾名思义，就是在Map阶段进行表之间的连接。而不需要进入到Reduce阶段才进行连接。这样就节省了在Shuffle阶段时要进行的大量数据传输。从而起到了优化作业的作用。
MapJoin的原理：
即在map 端进行join，其原理是broadcast join，即把小表作为一个完整的驱动表来进行join操作。通常情况下，要连接的各个表里面的数据会分布在不同...
分类：
其他好文 时间：
2014-09-12 22:09:44
阅读次数：
241
sqoop hive-0.13 hadoop-2.2.0...
分类：
数据库 时间：
2014-09-12 20:47:04
阅读次数：
275
hive支持的数据类型路下
数值类型 Numeric Types
TINYINT (1字节,数据范围： -128 to 127)
SMALLINT (2字节,数据范围： -32,768 to 32,767)
INT (4字节,数据范围：-2,147,483,648 to 2,147,483,647)
BIGINT (8字节,数据范围： -9,223,372,036,854,775,808 to 9,223,372,036,854,775,807)
FLOAT (4字节, 单精度浮点数)
DOUBLE (8字...
分类：
其他好文 时间：
2014-09-11 21:01:02
阅读次数：
207
grep 由于内置高效的字符串搜索算法，兼容各种风格的正则，且功能众多，有着 linux 下字符串处理三剑客之一的称号，但是到了如今的大数据/分布式时代，这种单机时代的工具显得有些廉颇老矣。。。 1、需求背景 我们...
分类：
其他好文 时间：
2014-09-11 04:33:02
阅读次数：
670
前面介绍了sparkSQL的运行架构，后面将介绍sparkSQL的使用。在介绍sparkSQL的使用之前，我们需要搭建一个sparkSQL的测试环境。本次测试环境涉及到hadoop之HDFS、hive、spark以及相关的数据文件，相关的信息如下：
hadoop版本为2.2.0hive版本为0.13spark版本为1.1.0-rc3MySQL版本为5.6.12测试数据下载地点：http:...
分类：
数据库 时间：
2014-09-10 09:39:40
阅读次数：
378
sparkSQL1.1对数据的查询分成了2个分支：sqlContext 和 hiveContext。
在sqlContext中，sparkSQL可以使用SQL-92语法对定义的表进行查询，表的源数据可以来自：
RDDparquet文件json文件
在hiveContext中，sparkSQL可以使用HQL语法，对hive数据进行查询，sparkSQ...
分类：
数据库 时间：
2014-09-10 09:38:00
阅读次数：
406
hive中删除表的错误Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: Iteration request failed :...
分类：
其他好文 时间：
2014-09-10 00:28:59
阅读次数：
748
知识点：1、Hive的窗口和分析函数进阶 CUME_DIST 小于等于当前行值的行数 / 总行数 PERCENT_RANK 当前rank值-1 / 总行数-1 NTILE 将窗口分成n片 LEAD(col, n, default) 窗口内下n行值 LAG(col, n , default)...
分类：
其他好文 时间：
2014-09-09 17:43:09
阅读次数：
370
启动HiveServer2：cd $HIVE_HOME/bin以后台方式默认端口启动HiveServer2(默认端口是10000)：hiveserver2 &以后台方式指定端口的方式启动：hiveserver2 --hiveconf hive.server2.thrift.port=14000 &使...
分类：
数据库 时间：
2014-09-09 15:28:58
阅读次数：
1080
