UDF：用户定义（普通）函数，只对单行数值产生作用；UDF只能实现一进一出的操作。UDF函数自定义实现步骤如下： 定义UDF函数，如计算两个数之和 package com.starzy.udf; import org.apache.hadoop.hive.ql.exec.UDF; public cl ...
分类：
其他好文 时间：
2021-02-01 12:38:19
阅读次数：
0
环境是hive和Hadoop 报错如：User: liwei is not allowed to impersonate anonymous 修改hadoop 配置文件 $HADOOP_HOME/etc/hadoop/core-site.xml <property> <name>hadoop.pro ...
分类：
编程语言 时间：
2021-01-27 13:53:02
阅读次数：
0
set hive.mapred.mode=nonstrict； 这是不严格模式，默认如此 对分区表进行查询，若在where子句中没有加分区的话，将禁止提交任务。 把属性值进行设置.默认值是没有开启的。默认是nonstrict 查看hive是否开启严格模式 set hive.mapred.mode 说 ...
分类：
其他好文 时间：
2021-01-26 12:44:54
阅读次数：
0
删除数据库时提示:message:Database DBname is not empty. One or more tables exist. ##解决方案1: 先删除数据库中的所有表，再删除数据库 ##解决方案2： 强制删除 drop database db_hive cascade; ...
分类：
数据库 时间：
2021-01-26 11:44:00
阅读次数：
0
#Hive 的函数 ##1.系统内置函数 1）查看系统自带的函数 show functions; show functions like "date"; 2）显示自带的函数的用法 desc function upper; desc function 'current_date' 记住带下划线的需要加 ...
分类：
其他好文 时间：
2021-01-25 11:02:17
阅读次数：
0
文章目录 1.Trino与Spark SQL的区别分析 2.Trino与Spark SQL解析过程对比 3.Trino基本概念 4.Trino架构 5.Trino SQL执行流程 6.Trino Task执行流程 相关参考： 1.Trino与Spark SQL的区别分析 2.Trino与Spark ...
分类：
其他好文 时间：
2021-01-22 12:05:01
阅读次数：
0
HBase 虽然可以存储数亿或数十亿行数据，但是对于数据分析来说，不太友好，只提供了简单的基于 Key 值的快速查询能力，没法进行大量的条件查询。现有hbase的查询工具有很多如：Hive，Tez，Impala，Shark/Spark，Phoenix等。今天主要说Hive，Hive方便地提供了Hiv ...
分类：
其他好文 时间：
2021-01-21 10:54:30
阅读次数：
0
# 先定义dataframe各列的数据类型 from pyspark.sql.types import *schema = StructType([ StructField("a", NullType(), True), StructField("b", AtomicType(), True), S ...
分类：
其他好文 时间：
2021-01-18 11:29:36
阅读次数：
0
1.数据格式 1 2 x2 2 x3 2 x4 2 x 2.创建表 创建TEXTFILE格式的表 CREATE TABLE test_txt(id int,num int,txt string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES ...
分类：
其他好文 时间：
2021-01-18 10:51:25
阅读次数：
0
1. 设置执行引擎 set hive.execution.engine=mr;set hive.execution.engine=spark; 如果设置执行引擎为MR，那么调用Hadoop的maprecude来运行需要执行的job的程序； 如果设置执行引擎为spark，那么就会调用spark来执行任 ...
分类：
其他好文 时间：
2021-01-15 12:15:21
阅读次数：
0
