IMPALA部署和架构(一) 一，概要 因公司业务需求，需要一个查询引擎满足快速查询TB级别的数据，所以我们找到了presto和impala，presto在前面讲过今天只说impala，impala是cloudera公司主导开发的新型查询系统，impala没有在使用缓慢的Hive+MapReduce ...
分类：
其他好文 时间：
2019-01-20 17:26:19
阅读次数：
848
1.Impala hadoop的sql平台、支持hbase/hdfs、支持超大数据、支持多并发、sql支持好、对内存依赖比较严重。需要自己优化，并且有的语句超过内存会报错。 2.Spark 各种格式、各种计算（机器学习、图形计算）、可sql、可代码处理、支持scala/java/python语言开发 ...
分类：
其他好文 时间：
2019-01-20 11:46:08
阅读次数：
176
1.HDFS 修复 问题描述：其他部门在yarn平台上跑spark 程序错误的生成了海量的不到100K的小文件，导致namenode压力过大，其中一个namenode宕机后，没有及时发现 使得edits文件大量积累，在namenode1宕机后，namenode2 随后在凌晨1点也宕机。 原因分析：N ...
分类：
其他好文 时间：
2019-01-18 12:57:14
阅读次数：
229
一、kudu概念 Apache Kudu是由Cloudera开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu支持水平扩展，使用Raft协议进行一致性保证，并且与Cloudera Impala和Apache Spark等当前流行的大数据查询和分析工具结合紧密。 这是一个为块数 ...
分类：
数据库 时间：
2019-01-14 00:19:03
阅读次数：
980
``` !/bin/bash 此脚本用于定时重启impala服务 每2个小时的10分重启一次 10 /2 bash +x /root/restartImpala.sh 全通生产 curl X POST u admin:Mvtech@123! "http://192.168.0.20:7180/api ...
分类：
Web程序 时间：
2019-01-11 11:34:06
阅读次数：
293
背景介绍 使用SQL 引擎一词是有点随意的。例如Hive 不是一个引擎，它的框架使用MapReduce、TeZ 或者Spark 引擎去执行查询，而且它并不运行SQL，而是HiveQL，一种类似SQL 的语言，非常接近SQL。“SQL-in-Hadoop” 也不适用，虽然Hive 和Impala 主要 ...
分类：
数据库 时间：
2019-01-10 10:57:21
阅读次数：
251
Impala大数据分析引擎视频教程课程链接:https://pan.baidu.com/s/1Q9hSTyIxG2VDOJKF6y4Q3A密码:ne8qImpala由Cloudera公司主导开发的大数据实时查询分析工具，宣称比原来基于MapReduce的HiveSQL查询速度提升3~90倍，且更加灵活易用。提供类SQL的查询语句，能够查询存储在Hadoop的HDFS、Kudu、HBase（实际生产
分类：
其他好文 时间：
2018-12-24 13:52:33
阅读次数：
132
最近做了一个POC，目的是系统日志的收集和分析，此前有使用过splunk，虽然用户体验很好，但一是价格昂贵，二是不适合后期开发（splunk已经推出了SDK，后期开发已经变得非常容易）。在收集TB级别的日志量上flume-ng是更好的选择，因为后面的存储是扩展性极佳的HDFS。先简要介绍一下测试环境 ...
分类：
Web程序 时间：
2018-12-22 12:37:32
阅读次数：
246
定位: HIVE：长时间的批处理查询分析 impala:实时交互式SQL查询 impala优缺点优点： 1. 生成执行计划树，不用多次启动job造成多余开销，并且减少中间结果数据写入磁盘，执行速度快 2. 不占用yarn的资源 3. 缺点： 1. 不支持Date类型 2. 与HIVE数据不同步，需要 ...
分类：
其他好文 时间：
2018-12-10 11:30:26
阅读次数：
249
今天装了CM集群，在集群当中集成了impala，hive。然后一直觉得认为impala自动共享hive的元数据，最后发现好像并不是这样的，需要经过一个同步元数据的操作才能实现数据的同步。 具体的做法如下： （1）安装好hive和impala，然后在hive当中创建目标数据库，创建一张表 2. 在Im ...
分类：
其他好文 时间：
2018-12-01 20:11:35
阅读次数：
226
