官网语法如下所示https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-AlteringandDroppingTables ***注意:***REPLACE列 替换所有现有列,只更改表的模式,而不是 ...
分类:
其他好文 时间:
2020-07-21 09:46:44
阅读次数:
105
什么是Hive: 数据仓库软件,可以通过SQL读写和管理分布式存储的大型数据集,结构可以映射在已经存储的数据。用户可以通过命令行工具和JDBC连接到Hive。 Hive Commands: quit/exit:退出interactive shell reset:重置配置设定到默认值。 set =:设 ...
分类:
其他好文 时间:
2020-07-21 01:27:08
阅读次数:
119
mysql的文件系统 1.mysql提供的存储引擎 01)InnoDB 适合数据增删改查 02)MyISAM 存储一些只读的数据 03)MEMORY 支持hash索引 04)ARCHIVE 05)FEDERATED 06)EXAMPLE 07)BLACKHOLE 08)MERGE 09)NDBCLU ...
分类:
数据库 时间:
2020-07-20 22:53:18
阅读次数:
113
1、用途 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行; 例如,我们可能有这样一个需求,某个业务系统每天产生 ...
分类:
其他好文 时间:
2020-07-20 13:26:58
阅读次数:
71
操作步骤 1)TmpBstAggZwTktModelD 按天读取Mysql表数据bst_agg_zw_tkt_model_d,存入hive临时表tmp_bst_agg_zw_tkt_model_d(临时表采用txt格式,按年月日进行分区) 2)HiveBstAggZwTktModelD 连接hive ...
分类:
数据库 时间:
2020-07-20 13:08:14
阅读次数:
129
jdk的安装 上传jdk的安装包到linux中 解压、更名 [root@qianfeng01 software]# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /usr/local/ [root@qianfeng01 software]# cd /usr/loca ...
分类:
其他好文 时间:
2020-07-19 17:54:49
阅读次数:
72
在对数据进行汇总和分析的时候,经常需要用到排名相关的操作,下面是hive中经常用到的3个排名函数: rank() dense_rank() row_number() 函数说明: rank():在一组数据内按顺序显示排名顺序,值相同的情况下,排序数会重复,下个排序数会根据记录数接着排名。 dense_ ...
分类:
其他好文 时间:
2020-07-19 00:49:43
阅读次数:
74
首先去mysql官网下载mysql的离线rpm安装包(https://downloads.mysql.com/archives/community/) 上传到/data/rpm/mysql8.0目录下 因为Mysql依赖于mariadb,所以我们先用rpm -qa | grep mariadb 查找 ...
分类:
数据库 时间:
2020-07-18 13:32:54
阅读次数:
118
1、官网下载地址:https://github.com/alibaba/DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxC ...
分类:
其他好文 时间:
2020-07-17 22:02:27
阅读次数:
140
1.完成环境准备 a.开启hadoop服务 b.开启Mysql服务进入HIVE命令行界面 c.开启zookeeper服务 d.开启hbase服务进入命令行界面 ...
分类:
其他好文 时间:
2020-07-17 11:26:18
阅读次数:
54