测试环境 节点: 2 台主节点，6台计算节点 机器配置: 16个物理核 128G内存 12*3T磁盘 操作系统: redhat 7.2 版本: CDH 5.7.1-1.cdh5.7.1.p0.11 impala_kudu 2.7.0-1.cdh5.9.0.p0.23 kudu 0.9.1-1.kud ...
分类：
其他好文 时间：
2016-09-01 11:06:29
阅读次数：
262
六、Hue数据可视化实例 本节用Impala、DB查询示例说明Hue的数据查询和可视化功能。1. Impala查询 在Impala OLAP实例一节中执行了一些查询，现在在...
分类：
其他好文 时间：
2016-08-31 17:16:46
阅读次数：
221
三、Impala OLAP实例 本节使用前面销售订单的例子说明如何使用Impala做OLAP类型的查询，以及实际遇到的问题及解决方案。为了处理SCD和行级更新，我们前面的ETL使用了Hi...
分类：
其他好文 时间：
2016-08-26 09:12:56
阅读次数：
263
二、Hive、Spark SQL、Impala比较 Hive、Spark SQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案，但又各有特点。前面已经讨论了...
分类：
其他好文 时间：
2016-08-25 21:42:57
阅读次数：
166
前言由于经常要帮数据分析抽表，因此自己写了个自动生成impala和sqoop脚本的工具，结果今天发现一个库中17张表，只成功导入了12张。仔细检查才发现是是由于impala建表时候字段使用了location关键字的原因。分析建表语句impala-shell -i ip:25004 -q "
DROP TABLE IF EXISTS database.table;
CREATE EXTERNAL TA...
分类：
其他好文 时间：
2016-08-21 12:34:24
阅读次数：
775
前言之前一直考虑更换impala的文件存储格式为parquet，但是没有立即使用，最近又做了一些测试，看看parquet是否真的有用。在测试的时候顺便测了一下compute语句的效果，一起作为参考。下面抽出一个小业务的部分测试结果来展示。测试准备库名和表名当然不是真的。测试范围：
文件格式：parquet和text
compute语句的影响
测试用表：
表名
行数
字段数
物理存储大...
分类：
其他好文 时间：
2016-08-21 12:33:53
阅读次数：
211
前言测一下parquet、snappy、gzip、textfile这些方式在hdfs中占用的存储大小。在impala中直接建内部表。测试
存储格式
压缩格式
文件大小
建表时间 textfile
none
3.0 G
38.74s
parquet
none
1.5 G
32.33s
parquet
snappy
709.3 M
31.71...
分类：
其他好文 时间：
2016-08-21 12:32:15
阅读次数：
210
前言上次的impala状况出现后，决定自己做一套impala的管理系统，那么首先面临的一个问题就是获取impala的各种状态，比如任务执行状态。经过一天多的尝试，总结一下。
hue：可以使用hue的脚本，hue使用python编写，其中有一个beeswax模块，负责任务的执行等。缺点是没发现java的api。
cloudera manager java api：java可以调用cm原生的api，需要...
前言impala的负载均衡，使用haproxy来做，主要是比较简单。安装后做一个小配置就行。主要用的就是haproxy四层交换机的特性，讲所有指向haproxy主机和端口的请求，转发到相应的主机：端口上。cdh官网里面的信息已经比较久了，有些配置需要改，因此做一个笔记。impala负载安装haproxyyum install haproxy配置文件vim /etc/haproxy/haproxy.c...
分类：
其他好文 时间：
2016-08-18 13:02:07
阅读次数：
227
前言写脚本，遇到一个小坑，python和seven帮忙填了一下，突然想起来之前貌似遇到过类似的情况。版本一脚本：sql=$1
coordinator=$2
output_file=$3echo $sql
echo "------"
echo $output_file
echo "------"
echo $coordinatorimpala-shell -i $coordinator -q $sql...
分类：
其他好文 时间：
2016-08-18 13:00:32
阅读次数：
453
