今天dw组同事发邮件说有一个问题让帮解决一下，他们自己没能搞得定，以下问题解决过程：...
分类：
其他好文 时间：
2014-11-19 01:50:55
阅读次数：
281
1.复制RDBMS表结构到hive sqoop create-hive-table --connect jdbc:mysql://localhost:3306/databaseName--table tableName --username username --password userpassw...
分类：
其他好文 时间：
2014-11-17 17:29:44
阅读次数：
186
1、insert? into 语句 hive> insert into table userinfos2 select id,age,name from userinfos; 2、insert overwrite语句 hive> insert overwrite table userinfos2 select id,age,name from userinfos; 两者的...
分类：
其他好文 时间：
2014-11-17 16:05:13
阅读次数：
244
同事总结的hive sql 优化 Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。 使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别， 所以需要去掉原...
分类：
数据库 时间：
2014-11-17 12:39:17
阅读次数：
393
STORM与HADOOP的比较对于一堆时刻在增长的数据，如果要统计，可以采取什么方法呢？等数据增长到一定程度的时候，跑一个统计程序进行统计。适用于实时性要求不高的场景。如将数据导到HDFS，再运行一个MAP REDUCE JOB。如果实时性要求高的，上面的方法就不行了。因此就带来第二种方法。在数据每...
分类：
其他好文 时间：
2014-11-16 21:24:49
阅读次数：
223
《Programming Hive》读书笔记（二）Hive基础知识
阅读方法：第一遍读是浏览，建立知识索引，因为有些知识不一定能用到，知道就好。感兴趣的部分可以多研究。
以后用的时候再详细看，并结合其他资料一起。
Chapter 3.Data Types and File Formats
原始数据类型和集合数据类型
Select出来的数据，列与列之间的分隔符可以指定...
分类：
其他好文 时间：
2014-11-15 23:15:22
阅读次数：
188
hive调试信息显示模式：./hive -hiveconf hive.root.logger=DEBUG,console非常有用。默认情况下，Hive元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。为了支持多用户多会话，则需要一个独立的元数据库，我们使用 MySQL...
分类：
数据库 时间：
2014-11-15 21:35:39
阅读次数：
361
本地独立模式，MySQL作为元数据库1 安装环境准备 1.1 安装JDK，在安装hadoop时候已经安装了，参考http://www.cnblogs.com/liuchangchun/p/4097286.html 1.2 安装hadoop，参考http://www.cnblogs.com/liu.....
分类：
系统相关 时间：
2014-11-15 14:06:05
阅读次数：
312
hive streaming 报错的解决方案：1、把使用到hive streaming 的sql 分解，例如：select transform a,b,c,d using 'python cc.py' as (e,f) from table,分解成：select a,b,c,d from table...
分类：
其他好文 时间：
2014-11-14 15:37:33
阅读次数：
256
