UDF的定义 UDF（User-Defined Functions）即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求，这时就需要我们自定义函数了 UDF的分类 UDF：one to one，进来一个出去一个，row mapping。是row级别操作，如：upper、substr函 ...
分类：
其他好文 时间：
2020-09-16 12:06:37
阅读次数：
34
源【1-1】如果有镜像源可以忽略此步骤一.zabbix安装 【1-1】 安 装 源【1-2】清理缓存【1-3】服务安装【1-4】修改配置二.安装数据库【2-1】下载工具【2-2】上 传 包【2-3 】 配 置三.zabbix配置【3-1】server端【3-2】agent端【3-3】补 充 四.服务... ...
分类：
其他好文 时间：
2020-09-14 19:09:47
阅读次数：
23
1.函数说明 主要是配合over()窗口函数来使用的，通过over(partition by order by )来反映统计值的记录。 1. rank() over()是跳跃排序，有两个第二名时接下来就是第四名（同样是在各个分组内） 2. dense_rank() over()是连续排序，有两个第二 ...
分类：
其他好文 时间：
2020-09-11 16:15:16
阅读次数：
58
在hive内部有许多函数，如下： 内置运算符 关系运算符 算术运算符 逻辑运算符 复杂类型函数 内置函数内置聚合函数 数学函数 收集函数 类型转换函数 日期函数 条件函数 字符函数 内置聚合函数 内置表生成函数 1.1关系运算符 1. 等值比较: = 2. 等值比较:<=> 3. 不等值比较: <> ...
分类：
其他好文 时间：
2020-09-10 22:38:54
阅读次数：
41
1.hive本身对union这样的命令进行了优化 2.hdfs数据本地化率对hive性能产生影响 在数据大小一定的情况下，500个128M的文件和2个30G的文件 跑hive任务，性能是有差异的，两者最大的区别在于，后者在读取文件时，需要跨网络传输，而前者为本地读写。数据本地化率问题。 3.不同数据 ...
分类：
其他好文 时间：
2020-09-09 19:07:41
阅读次数：
34
Hive是大数据领域常用的组件之一，主要用于大数据离线数仓的运算，关于Hive的性能调优在日常工作和面试中是经常涉及的一个点，因此掌握一些Hive调优是必不可少的一项技能。影响Hive效率的主要因素有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等。本文主要从建表配置参数方面对Hive优化进行讲解
分类：
其他好文 时间：
2020-09-04 16:58:58
阅读次数：
42
1 Sqoop概述 传统的应用程序管理系统，即应用程序与使用RDBMS的关系数据库的交互，是产生大数据的来源之一。由RDBMS生成的这种大数据存储在关系数据库结构中的关系数据库服务器中。 当大数据存储和Hadoop生态系统的MapReduce，Hive，HBase，Cassandra，Pig等分析器 ...
分类：
其他好文 时间：
2020-09-03 16:44:55
阅读次数：
40
在机器学习的流程中数据挖掘是重要的一环。数据挖掘是从大量数据中提取隐藏的或未知，但可能有用信息的过程。今天给大家介绍10个最强的数据挖掘工具，欢迎小伙伴们收藏起来。1.KNIMEKNIME可以完成常规的数据分析，进行数据挖掘，常见的数据挖掘算法，如回归、分类、聚类等等都有。而且它引入很多大数据组件，如Hive，Spark等等。它还通过模块化的数据流水线概念，集成了机器学习和数据挖掘的各种组件，能够
分类：
其他好文 时间：
2020-08-24 16:32:14
阅读次数：
59
服役新的节点 1、首先克隆一个新的虚拟机，里面的hadoop等环境都配好了 之后修改ip通过 root进行登录，在原本好的虚拟机上进行分发操作 之后再发java 发环境变量 在新的虚拟机上进行： 这是重新运行环境变量 之后进入hadoop删除data和logs让他变成一个全新的机器 就会发现 dat ...
分类：
其他好文 时间：
2020-08-19 19:07:03
阅读次数：
65
Maven 什么是Maven Maven 在美国是一个口语化的词语，代表专家、内行的意思。一个对 Maven 比较正式的定义是这么说的：Maven 是一个项目管理工具，它包含了一个项目对象模型 (POM：Project Object Model)，一组标准集合，一个项目生命周期(Project Li ...
分类：
其他好文 时间：
2020-08-15 22:29:27
阅读次数：
73
