知识点：1、Hive复合数据类型map与Lateral View的使用； map、str_to_map、map_keys、map_values，map与lateral view2、通过translate进行简单数据保护； Hive转换函数进行数据保护，确保企业应用信息安全3、Hive的窗口和分析.....
分类：
其他好文 时间：
2014-09-09 15:27:09
阅读次数：
1106
spark1.1相较于spark1.0，最大的差别就在于spark1.1增加了万人期待的CLI和ThriftServer。使得hive用户还有用惯了命令行的RDBMS数据库管理员很容易地上手sparkSQL，在真正意义上进入了SQL时代。下面先简单介绍其使用，限于时间关系，以后再附上源码分析。
1：ThriftServer和CLI的命令参数
A：令人惊讶的CLI...
分类：
数据库 时间：
2014-09-09 12:39:38
阅读次数：
387
sqoop 导入 hive
hive.HiveImport: Exception in thread "main" java.lang.NoSuchMethodError: org.apache.thrift.EncodingUtils.setBit(BIZ)B
ERROR tool.ImportTool: Encountered IOException running import ...
分类：
编程语言 时间：
2014-09-08 03:15:26
阅读次数：
432
很久,在看电脑的时候,我把下面这两个词整混了, 以为他们是同一个词, 但是现在才看到他们的不同, 拼的不同,而且读音也完全不同啊,原来我一直都认为archive 是archive 以为是他的多意词, 始终一直觉得奇怪, 为什么用archive来表达这个意思, 以为这样才有成就感呢? 哈哈!achie...
分类：
其他好文 时间：
2014-09-07 19:48:15
阅读次数：
190
修改了hadoop/etc/hadoop/core-site.xml文件中的 fs.defaultFS hdfs://master:9000 属性值后，会导致原有的hive数据找不到，需要到hive的metastore数据库中更改SDS表中的LOCATION属性，将对应的hdfs参数值改成新的值.....
分类：
其他好文 时间：
2014-09-05 23:39:42
阅读次数：
228
通过设置hive.exec.parallel参数，使得在同一sql中的job可以并行的执行，因为在某些场景下，同一sql中，有时子查询之间并无关联。默认情况下为false可以在执行HQL之前，set该参数，hive.exec.parallel=具体某个数值。#####虽然可以保证并行运行，但是会耗费更多的资源。
分类：
其他好文 时间：
2014-09-05 16:27:52
阅读次数：
230
今天在删除一个hive表的时候，发现hdfs的空间没有释放，刚开始一直觉得是自己删除有问题，结果在hdfs上也没有查到，最后发现是CDH的namenode有一个文件系统垃圾间隔设置，默认设置一天，也就是说删除的文件需要一天才能被删掉。配置如图，希望能帮助要有同样疑惑的人。还有这个..
分类：
其他好文 时间：
2014-09-03 02:48:26
阅读次数：
249
这几天和同事一起分析的一个线上的java应用。线上查询平台应用，主要原理是用户传入sql，经由查询平台通过jdbc连接hive做查询操作。主要架构：user---->tengine---->java--->haproxy---->hiveserver2线上用户反映查询异常，分析tengine的访问日志，发现部分响应的h..
分类：
编程语言 时间：
2014-09-03 02:40:06
阅读次数：
317
hive 索引 order by sort by...
分类：
其他好文 时间：
2014-09-02 15:55:54
阅读次数：
173
