最近，由于工作的需要，学习了基于Hadoop的一个数据仓库工具hive。遇到并解决了一些问题，但是有个select语句的细微差别值得注意。 首先来看两条hql语句： SELECT * FROM MY_TABLE where dt=2014031205 limit 10 SELECT ID,NAM.....
分类：
其他好文 时间：
2014-06-28 23:54:20
阅读次数：
400
一、创建表 在官方的wiki里，example是这种：Sql代码 CREATE[EXTERNAL]TABLE[IFNOTEXISTS]table_name[(col_namedata_type[COMMENTcol_comment],...)][COMMENTtable_comment][PARTI...
分类：
数据库 时间：
2014-06-21 08:34:09
阅读次数：
287
sqoop版本为1.4.4，hadoop版本为2.2.0，hive版本为0.11.0，hive元数据存放位置为mysql，当使用sqoop 从mysql往hive中导入数据时，总是提示找不到所指定的hive数据库，事实上hive中已存在该数据库，sqoop中也设置了hive路 径，/etc/pro....
分类：
数据库 时间：
2014-06-18 15:06:57
阅读次数：
248
Shark是基于Spark与Hive之上的一种SQL查询引擎。...
分类：
其他好文 时间：
2014-06-18 06:54:00
阅读次数：
286
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。
从2011年开始，中国进入大数据风起云...
分类：
其他好文 时间：
2014-06-17 16:44:25
阅读次数：
310
本文思路，看图说话，一张图，清晰总结二者区别
下面对图中的各条做详细总结
1、查询语言
不做赘述
2、数据存储位置
不做赘述
3、数据格式
Hive：Hive 中没有定义专门的数据格式，数据格式可以由用户指定，用户定义数据格式需要指定三个属性：列分隔符（通常为空格、”\t”、”\x001″）、行分隔符（”\n”）以及读取文件数据的方法（Hive 中默认有三个文件格式...
分类：
数据库 时间：
2014-06-16 19:54:26
阅读次数：
376
本文简要总结以下两个问题，旨在快速理解“数据仓库”
1、什么是“数据仓库”？
2、“数据仓库”与“数据库”的区别？
下面做详细阐述：
1、什么是“数据仓库”？
“一个数据仓库通常是一个面向主题的、集成的、与时间相关且不可修改的（可以添加）数据集合，它用于对管理决策过程的支持。”
此句话包含几个关键点：面向主题的、集成的、与时间相关的、不可修改的，具体含义欢迎留言交流。
2、数据仓...
分类：
数据库 时间：
2014-06-16 19:05:04
阅读次数：
259
1. Impala架构
Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从HDFS...
分类：
其他好文 时间：
2014-06-16 14:42:11
阅读次数：
251
安装mysql (1)执行命令rpm -qa |grep mysql 查看mysql是否安装 删除linux上已经安装的mysql相关库信息。rpm -e xxxxxxx(查看的库名,可使用右键复制) --nodeps 执行命令rpm -qa |grep mysql 检查是否删除干净 (2)执行命令...
分类：
数据库 时间：
2014-06-14 12:13:32
阅读次数：
284
1、hive的安装 (1)解压缩、重命名、设置环境变量，参考hadoop1学习系列2 (2)在目录$HIVE_HOME/conf/下，执行命令mv hive-default.xml.template hive-site.xml重命名 在目录$HIVE_HOME/conf/下，执行命令mv hive-...
分类：
其他好文 时间：
2014-06-14 10:58:35
阅读次数：
227
