在日常变更过程中，变更前会注释某些定时任务(比如巡检告警等)，变更完成后需恢复，有时变更操作的服务器很多，对应需要注释的crontab也很多且不相同，本文通过分发平台执行对应脚本批量实现crontab的注释和解注释功能。
分类：
其他好文 时间：
2020-09-17 18:47:16
阅读次数：
39
今天介绍用 Flink 读取Kafka生成的数据，并进行汇总的案例 第一步：环境准备，kafka，flink，zookeeper。我这边是用的CDH环境，kafka跟zookeeper 都安装完毕，并测试可以正常使用 第二步：用kafka创建一个生产者进行消息生产 ./kafka-console-p ...
分类：
其他好文 时间：
2020-09-17 18:33:12
阅读次数：
26
1.概述 最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。 2.内容 这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然 ...
分类：
其他好文 时间：
2020-09-17 17:38:24
阅读次数：
37
1 开启 Map 输出阶段压缩(中间压缩) 开启 map 输出阶段压缩可以减少 job 中 map 和 Reduce task 间数据传输量。具体配置如下： 步骤1: 开启 Hive 中间传输数据压缩功能 map 任务和 reduce 任务之间的数据的压缩. hive.exec.compress.i ...
分类：
其他好文 时间：
2020-09-17 17:04:51
阅读次数：
30
一、软件介绍1、CDH概览CDH（ClouderaDistributionofApacheHadoop）是ApacheHadoop和相关项目中最完整、经过测试和流行的发行版。CDH提供Hadoop的核心元素，可伸缩存储和可扩展分布式计算，以及基于web的用户界面和关键的企业功能。CDH是apache授权的开放源码，是惟一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解
分类：
其他好文 时间：
2020-09-17 16:53:39
阅读次数：
33
本文会从一个商务分析案例入手，说明SQL窗口函数的使用方式。通过本文的5个需求分析，可以看出SQL窗口函数的功能十分强大，不仅能够使我们编写的SQL逻辑更加清晰，而且在某种程度上可以简化需求开发。数据准备本文主要分析只涉及一张订单表orders，操作过程在Hive中完成，具体数据如下：--建表CREATETABLEorders(order_idint,customer_idstring,citys
分类：
数据库 时间：
2020-09-17 16:33:50
阅读次数：
45
前几天遇到一个这样的需求：销售总占比加起来超过75%的top分类。具体需求是这样的：商品一级分类标签下面有许多商品标签，例如运动户外一级标签，下面可能存在361°，CBA，Nike，Adidas...等这些商品标签。我们需要统计在一级标签下面占总销售比超过75%的商品标签有哪些，从而让我们了解一级品... ...
分类：
其他好文 时间：
2020-09-16 12:19:01
阅读次数：
73
UDF的定义 UDF（User-Defined Functions）即是用户定义的hive函数。hive自带的函数并不能完全满足业务需求，这时就需要我们自定义函数了 UDF的分类 UDF：one to one，进来一个出去一个，row mapping。是row级别操作，如：upper、substr函 ...
分类：
其他好文 时间：
2020-09-16 12:06:37
阅读次数：
34
源【1-1】如果有镜像源可以忽略此步骤一.zabbix安装 【1-1】 安 装 源【1-2】清理缓存【1-3】服务安装【1-4】修改配置二.安装数据库【2-1】下载工具【2-2】上 传 包【2-3 】 配 置三.zabbix配置【3-1】server端【3-2】agent端【3-3】补 充 四.服务... ...
分类：
其他好文 时间：
2020-09-14 19:09:47
阅读次数：
23
1.函数说明 主要是配合over()窗口函数来使用的，通过over(partition by order by )来反映统计值的记录。 1. rank() over()是跳跃排序，有两个第二名时接下来就是第四名（同样是在各个分组内） 2. dense_rank() over()是连续排序，有两个第二 ...
分类：
其他好文 时间：
2020-09-11 16:15:16
阅读次数：
58
