1、下载并编译spark源码下载sparkhttp://spark.apache.org/downloads.html我下载的是1.2.0版本解压并编译，在编译前，可以根据自己机器的环境修改相应的pom.xml配置，我的环境是hadoop2.4.1修改个小版本号即可，编译包括了对hive、yarn、ganglia等的支持tarxzf~/source/spark-1..
分类：
其他好文 时间：
2014-12-29 18:36:06
阅读次数：
5133
一. Hive安装
Hive只在一个节点上安装即可
1. 上传tar包
2. 解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/
3. 配置mysql metastore（切换到root用户）
3.1 配置HIVE_HOME环境变量
3.2 安装mysql
查询以前安装的mysql相关包: rpm -qa | grep mysql
暴力删除这个包...
分类：
其他好文 时间：
2014-12-27 21:49:21
阅读次数：
181
hive与hbase数据类型对应关系
当hbase中double，int 类型以byte方式存储时，用字符串取出来必然是乱码。
在hivd与hbase整合时也遇到这个问题：做法是：#b
1.加#b
CREATE EXTERNAL TABLE hivebig (key string,CUST_NAME string,PHONE_NUM int,BRD_WORK_FLUX double)
...
分类：
其他好文 时间：
2014-12-26 06:15:48
阅读次数：
378
此篇文章基于hive官方英文文档翻译，有些不好理解的地方加入了我个人的理解，官方的英文地址为：
1.https://cwiki.apache.org/confluence/display/Hive/StorageHandlers
2.https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration
一 存...
分类：
其他好文 时间：
2014-12-26 06:14:31
阅读次数：
324
有时候，某些非常规的操作会导致将要建立数据库/表与保存在metastore里的数据库/表的信息发生冲突，导致无法建立相应的数据库/表。举个例子：如果没有使用常规的drop database/table去删除一个数据库或是表，而是直接在hdfs上删除了相应的文件夹或文件，比如：/user/hive/warehouse/xxxxx.db,然后当你重新试图使用建库脚本建库时，有可能会报出：FAILED:...
分类：
移动开发 时间：
2014-12-24 21:33:58
阅读次数：
422
Hive介绍http://www.cnblogs.com/sharpxiajun/archive/2013/06/02/3114180.htmlHive的数据类型和数据模型http://www.cnblogs.com/sharpxiajun/archive/2013/06/03/3114560.ht...
分类：
数据库 时间：
2014-12-24 19:59:40
阅读次数：
182
题记： 好吧玩起来命令就是没有 写代码舒服那么一点点，但是我们一点都不能懈怠啊， hive 操作的文件需要从这里加载 与linux 的命令相似， 命令行开头为 hadoop fs -(破折号) ls / 列出文件或者目录 cat hadoop f...
分类：
其他好文 时间：
2014-12-23 21:21:47
阅读次数：
177
线上一个项目需要操作hdfs和hive，在使用时报如下错误：java.lang.UnsupportedOperationException:Thisissupposedtobeoverriddenbysubclasses.
atcom.google.protobuf.GeneratedMessage.getUnknownFields(GeneratedMessage.java:180)
atorg.apache.hadoop.hdfs.protocol.proto...
分类：
其他好文 时间：
2014-12-23 06:51:06
阅读次数：
258
一: Hive基本概念 1. Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapRe...
分类：
其他好文 时间：
2014-12-23 00:16:50
阅读次数：
224
Hive使用HDFS目录数据创建Hive表分区...
分类：
其他好文 时间：
2014-12-22 18:02:19
阅读次数：
152
