一、环境信息 CentOS Linux release 8.1.1911 (Core) Redis server v=5.0.3 二、yum方式安装 1、添加EPEL仓库 sudo yum install epel-release 2、更新 sudo dnf update 3、使用 CentOS 8 ...
分类：
数据库 时间：
2020-06-22 12:41:55
阅读次数：
65
大三就快结束啦，也要轮到我找工作啦，结合网上的资料和自己的经验准备了一些材料，算是对自己技术方面的小小总结吧。趁这个机会查缺补漏做一些原来知道但没有动手试过的实验。 一、原理 udf 即 user defined function，文件后缀为.dll。通过在 udf 文件中定义新函数，可以对 mys ...
分类：
数据库 时间：
2020-06-22 12:37:09
阅读次数：
73
Hive数据查询详解 一、数据准备 为了演示查询操作，这里需要预先创建三张表，并加载测试数据。 数据文件 emp.txt 和 dept.txt 可以从本仓库的resources 目录下载。 1.1 员工表 -- 建表语句 CREATE TABLE emp( empno INT, -- 员工表编号 e ...
分类：
其他好文 时间：
2020-06-22 01:58:21
阅读次数：
87
数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
探索性数据分析——Profiling 可以快速预览数据 导入包： import pandas as pd import pandas_profiling 导入数据： data=pd.read_csv("model.csv") 或者hive_query 输出报告： pandas_profiling.P ...
分类：
其他好文 时间：
2020-06-21 23:21:42
阅读次数：
41
语法：ROW_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN) 1.row_number() over()排序功能 分组排序： 已有表 E E E 9 C E A 5 B B E 8 D D C 6 E A B 6 C B D 10 C E C 4 ...
分类：
编程语言 时间：
2020-06-21 17:53:04
阅读次数：
89
Hive分区表和分桶表 一、分区表 1.1 概念 Hive 中的表对应为 HDFS 上的指定目录，在查询数据时候，默认会对全表进行扫描，这样时间和性能的消耗都非常大。 分区为 HDFS 上表目录的子目录，数据按照分区存储在子目录中。如果查询的 where 字句的中包含分区条件，则直接从该分区去查找， ...
分类：
其他好文 时间：
2020-06-21 16:22:24
阅读次数：
55
Hive常用DDL操作 一、Database 1.1 查看数据列表 show databases; 1.2 使用数据库 USE database_name; 1.3 新建数据库 语法： CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name -- ...
分类：
其他好文 时间：
2020-06-21 16:17:19
阅读次数：
47
1，hive架构 1）client，客户端 2）Driver：驱动器 3）解析器，编译器，优化器，执行器 4）底层默认使用mr作为数据处理引擎 5）元数据，通常配置mysql来存储，这样支持多个客户端的访问 2，hive和传统数据库的比较 相同之处：都拥有类似的查询语言 不同之处： 1）数据存储位置 ...
分类：
其他好文 时间：
2020-06-21 13:51:48
阅读次数：
57
? 如何用形象的比喻描述大数据的技术生态？Hadoop、Hive、Spark 之间是什么关系？对于大部分人来说都是傻傻分不清楚。 今年来大数据、人工智能获得了IT界大量的关注。如果一个企业不玩大数据，都不好意思说自己是在IT圈混的。我敢打赌，你在中关村西二旗地铁站溜一圈，保准你会听到如下名词：Had ...
分类：
其他好文 时间：
2020-06-20 23:54:38
阅读次数：
100
