第10章 Hive实战之谷粒影音 10.1 需求描述 统计硅谷影音视频网站的常规指标，各种TopN指标： 统计视频观看数Top10 统计视频类别热度Top10 统计出视频观看数最高的20个视频的所属视频类别以及对应视频类别的个数 统计视频观看数Top50所关联视频的所属类别Rank 统计每个类别中的 ...
分类：
其他好文 时间：
2020-05-30 20:22:47
阅读次数：
68
第1章 Sqoop 简介 Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive) 与传统的数据库 (mysql,postgresql,...) 间进行数据的高校传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导入到 Hadoop 的 HDFS 中 ...
分类：
其他好文 时间：
2020-05-30 20:21:57
阅读次数：
82
一 概述 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等。2）各任务单元之间存在时间先后及前后依赖关系。3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行 ...
分类：
其他好文 时间：
2020-05-30 20:00:49
阅读次数：
59
第4章 DDL数据定义 4.1 创建数据库 1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。 hive (default)> create database db_hive; 2）避免要创建的数据库已经存在错误，增加 if not exist ...
分类：
其他好文 时间：
2020-05-30 19:43:40
阅读次数：
64
第8章 压缩和存储（Hive高级） 8.1 Hadoop源码编译支持Snappy压缩 8.1.1 资源准备 1、CentOS联网 配置CentOS能连接外网。Linux虚拟机 ping www.baidu.com 是畅通的。 注意：采用root角色编译，减少文件夹权限出现问题。2、jar包准备(ha ...
分类：
其他好文 时间：
2020-05-30 19:42:06
阅读次数：
53
第1章 Hive入门 1.1 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计（分析数据的框架）。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序。 1）Hive ...
分类：
其他好文 时间：
2020-05-30 19:36:05
阅读次数：
56
第6章 查询 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select查询语句语法： [WITH CommonTableExpression (, CommonTableExpression)*] (Note: On ...
分类：
其他好文 时间：
2020-05-30 19:34:29
阅读次数：
64
ELK日志报警插件ElastAlert 它通过将Elasticsearch与两种类型的组件（规则类型和警报）结合使用。定期查询Elasticsearch，并将数据传递到规则类型，该规则类型确定何时找到匹配项。发生匹配时，将为该警报提供一个或多个警报，这些警报将根据匹配采取行动。 这是由一组规则配置的 ...
分类：
其他好文 时间：
2020-05-30 19:32:24
阅读次数：
84
为了将数据仓库设计过程中excel中设计的物理模型高效转换成标准的Hive建表语句，我用 python开发了如下的工具 createDdlSql.py: 功能：实现将excel中的物理模型转换成建表语句文件 输入：当前目录文件名为“数据模型.xls”或“数据模型.xlsx”的excel，模型结尾必须 ...
分类：
其他好文 时间：
2020-05-30 14:13:29
阅读次数：
155
0x00 介绍 本篇我们来讲无webshell时利用udf进行提权 0x01 前提 1. 必须是root权限（主要是得创建和抛弃自定义函数） 2. secure_file_priv=(未写路径) 3. 将udf.dll文件上传到MySQL的plugin目录下（这里以MySQL>=5.1为例） 0x0 ...
分类：
数据库 时间：
2020-05-30 01:23:49
阅读次数：
98
