Hive sql是Hive 用户使用Hive的主要工具。Hive SQL是类似于ANSI SQL标准的SQL语言，但是两者有不完全相同。Hive SQL和Mysql的SQL方言最为接近，但是两者之间也存在着显著的差异，比如Hive不支持行级数据的插入、更新和删除，也不支持事务操作。 注: HIVE ...
分类：
数据库 时间：
2019-08-18 13:19:10
阅读次数：
196
一 Spark SQL概述 1.1 什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 Hive是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapRe ...
分类：
数据库 时间：
2019-06-22 19:45:45
阅读次数：
144
一、hive在执行sql时会以mapreduce的方式对数据进行接入和处理，其主要包含以下几个阶段：1.hive首先根据sql语句中的表从hdfs文件中获取数据，对数据文件进行split操作，使其可以一行一行将所需数据读入内存；2.map函数将内存中的数据按照key值进行映射，形成一行一行的key-value值，比如用户表中的性别字段，内存中map处理后的记录如下：3.在实际应用中会有多台机器参与
分类：
数据库 时间：
2019-05-31 18:05:41
阅读次数：
210
错误SQL: select * from (( select main_brand_code, third_cate_code, user_pin from adm.adm_dm_4a_ad_fission_view_mid where dt = '2019-04-25' union all sel... ...
分类：
数据库 时间：
2019-05-24 14:21:32
阅读次数：
108
一、数据类型 1、基本数据类型 Hive 支持关系型数据中大多数基本数据类型 类型描述示例 boolean true/false TRUE tinyint 1字节的有符号整数 -128~127 1Y smallint 2个字节的有符号整数，-32768~32767 1S int 4个字节的带符号整数 ...
分类：
数据库 时间：
2019-05-24 10:31:19
阅读次数：
129
#原始示例数据#1,k1|k2|k3|k1#2,k1|k1|k5|k3|k6#3,k3|k6|k7|k8#建表语句CREATE TABLE IF NOT EXISTS words(id INT,kw STRING)ROW FORMAT delimitedFIELDS TERMINATED BY ', ...
分类：
数据库 时间：
2019-05-09 10:56:16
阅读次数：
146
【为什么要了解hive执行流程】 【分析基于hadoop之上的SQL执行流程】 基本SQL框架 基本SQL框架 【例表:traffic_info】 【例表：TV_info】 解析：这两个简单的sql基本上涵盖了所有的大数据sql的框架，也就是说无论多磨复杂的大数据sql最终都会落到这两个简单的sql ...
分类：
数据库 时间：
2019-04-22 16:48:43
阅读次数：
309
背景 URL 的编码 是ASCII十六进制格式。 数仓接受到前端上报的URL，要对URL字段解码。 如要将 解码为: 方式 1.hive sql中，通过反射调用java.net.URLDecoder方法 实践中，发现，部分https开头的url解析不完整。例如 问题 解决方案 ...
分类：
Web程序 时间：
2019-04-18 17:12:41
阅读次数：
480
如何用hive sql 实现 contain 查询？ 需求：判断某个字符串是否在另一个字符串中？ 方法： 可以自定义函数，但是用正则匹配regexp更方便 代码如下： 首先，查看regexp正则函数的用法： 那么用正则实现包含功能的代码是： 表示 'QQqq' 匹配 '.*qq.*' 为真。QQqq ...
分类：
其他好文 时间：
2019-03-07 16:10:50
阅读次数：
2411
环境 虚拟机：VMware 10 Linux版本：CentOS-6.5-x86_64 客户端：Xshell4 FTP：Xftp4 jdk8 hadoop-3.1.1 apache-hive-3.1.1 参考：官网hive操作手册 一、DDL 1、数据类型 2、数据库的创建、删除、修改； 3、表的创建 ...
分类：
数据库 时间：
2019-01-29 18:00:39
阅读次数：
190
