假设存在表格如下： select 'a' as category, 19 as duration union all select 'b' as category, 15 as duration union all select 'c' as category, 12 as duration uni ...
分类：
编程语言 时间：
2020-05-27 11:51:22
阅读次数：
328
使用库Pyhive 安装：pip install Pyhive -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com from pyhive import hive # or import hive c ...
分类：
其他好文 时间：
2020-05-27 01:04:26
阅读次数：
60
题目三：使用Spark Core 统计文件中以spark开头的单词中，每个单词出现的次数（共计30分） spark-core hadoop linux java spark-sql storm html css vue spark spring springboot struts spark-hiv ...
分类：
其他好文 时间：
2020-05-26 22:06:21
阅读次数：
102
1.介绍 Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询，同时也可以将hive表中的数据映射到HBase中； 2.模型概念 2.1 将ETL操作的数据存入HBase 2.2 HBase作为Hive的数据源 2.3 构建 ...
分类：
其他好文 时间：
2020-05-25 14:00:35
阅读次数：
51
1、presto是什么 Presto是由Facebook开发的一个分布式SQL查询引擎，是专门设计为用来专门进行大数据实时查询计算而设计和开发的产品。 它是为了解决Hive的MapReduce模型太慢以及不能通过BI或Dashboards直接展现HDFS数据等问题。 2、presto特点 prest ...
分类：
其他好文 时间：
2020-05-23 18:05:11
阅读次数：
249
自定义UDF 1.导入依赖 2.创建类，集成UDF，打jar，并放进hive/lib/目录下 3.在hive命令行中 4.使用自定义函数 自定义UDTF 1.导入依赖 2.创建类，集成GenericUDTF，实现方法 3.在hive命令行中 4.使用自定义函数 ...
分类：
其他好文 时间：
2020-05-22 19:31:18
阅读次数：
39
一、Hive中load语句的语法说明 Hive Load语句不会在加载数据的时候做任何转换工作，而是纯粹的把数据文件复制/移动到Hive表对应的地址。语法格式如下： LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablenam ...
分类：
其他好文 时间：
2020-05-22 13:14:50
阅读次数：
53
背景 早在2013年1月，ORC(Optimized Row Columnar)出现，作为大规模加速Apache Hive和提高存储在Apache Hadoop中的数据的存储效率的计划的一部分。重点是为了提升处理速度和减小文件占用磁盘大小。 目前有很多公司已经大规模使用ORC了，比如Facebook ...
分类：
其他好文 时间：
2020-05-21 16:21:16
阅读次数：
76
报错： Exception in thread "main" java.lang.RuntimeException: java.net.SocketException: Call From bigdata/192.168.0.108 to bigdata:9000 failed on socket ...
分类：
其他好文 时间：
2020-05-20 18:38:55
阅读次数：
98
