一、连接SQL package com.njbdqn.linkSql import java.util.Properties import org.apache.spark.sql.SparkSession import org.apache.spark.sql._ object LinkSql { ...
分类：
数据库 时间：
2020-10-06 20:52:59
阅读次数：
35
Q1：xpinyin模块打包之后显示找不到指定文件Mandarin.dat description： 见标题 answer： 在Anaconda\Lib\site-packages\xpinyin路径下找到__init__.py 然后在__init__.py中编辑，找到 data_path = os ...
分类：
其他好文 时间：
2020-10-05 22:32:11
阅读次数：
56
hive是基于Hadoop的一个数据仓库工具，用来进行数据的ETL，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。HiveSQL是一种类SQL语言，与关系型数据库所支持的SQL语法存在微小的差异。本文对比MySQL和Hive所支持的SQL语法，发现相同的SQL语句在Hive和MySQL中输出结果的会有所不同
分类：
数据库 时间：
2020-09-17 23:41:17
阅读次数：
49
查询语句语法： [WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive 0.13.0)SELECT [ALL | DISTINCT] select_expr, s ...
分类：
其他好文 时间：
2020-09-17 23:30:31
阅读次数：
35
Hive的SQL可以通过用户定义的函数（UDF），用户定义的聚合（UDAF）和用户定义的表函数（UDTF）进行扩展。 当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF）。 UDF、UDAF、UDTF的区别： UDF（User-Defined-Functio ...
分类：
其他好文 时间：
2020-09-17 21:51:10
阅读次数：
35
在日常变更过程中，变更前会注释某些定时任务(比如巡检告警等)，变更完成后需恢复，有时变更操作的服务器很多，对应需要注释的crontab也很多且不相同，本文通过分发平台执行对应脚本批量实现crontab的注释和解注释功能。
分类：
其他好文 时间：
2020-09-17 18:47:16
阅读次数：
39
1.概述 最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。 2.内容 这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然 ...
分类：
其他好文 时间：
2020-09-17 17:38:24
阅读次数：
37
1 开启 Map 输出阶段压缩(中间压缩) 开启 map 输出阶段压缩可以减少 job 中 map 和 Reduce task 间数据传输量。具体配置如下： 步骤1: 开启 Hive 中间传输数据压缩功能 map 任务和 reduce 任务之间的数据的压缩. hive.exec.compress.i ...
分类：
其他好文 时间：
2020-09-17 17:04:51
阅读次数：
30
本文会从一个商务分析案例入手，说明SQL窗口函数的使用方式。通过本文的5个需求分析，可以看出SQL窗口函数的功能十分强大，不仅能够使我们编写的SQL逻辑更加清晰，而且在某种程度上可以简化需求开发。数据准备本文主要分析只涉及一张订单表orders，操作过程在Hive中完成，具体数据如下：--建表CREATETABLEorders(order_idint,customer_idstring,citys
分类：
数据库 时间：
2020-09-17 16:33:50
阅读次数：
45
前几天遇到一个这样的需求：销售总占比加起来超过75%的top分类。具体需求是这样的：商品一级分类标签下面有许多商品标签，例如运动户外一级标签，下面可能存在361°，CBA，Nike，Adidas...等这些商品标签。我们需要统计在一级标签下面占总销售比超过75%的商品标签有哪些，从而让我们了解一级品... ...
分类：
其他好文 时间：
2020-09-16 12:19:01
阅读次数：
73
