1、hive的企业级调优 1.1 Fetch抓取（鸡肋） Fetch抓取是指，==Hive中对某些情况的查询可以不必使用MapReduce计算== 例如：select * from employee; 在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制 ...
分类：
其他好文 时间：
2020-06-26 18:44:35
阅读次数：
56
##一、消费者消费原理 在实际生产过程中，每个topic都会对对应多个partitions，好处如下： 能够对 broker 上的数据进行分片有效减少了消息的容量从而提升 io 性能 为了提高消费端的消费能力，一般会通过多个consumer 去消费同一个 topic #####Q1. 在开启多个co ...
分类：
其他好文 时间：
2020-06-26 18:44:03
阅读次数：
62
共同点 test-align 和margin 都可以居中： test-align:Center. margin: 0 auto. 很好但是看下区别: <div style="background:red;text-align: center;"> <div style="background:yel ...
分类：
Web程序 时间：
2020-06-26 18:43:49
阅读次数：
65
导入头文件 编写代码过程中，涉及动态内存分配等常用的函数，需要引入如下头文件 #include<stdio.h> #include<stdlib.h> 结构体定义 // 定义二分搜索树结构体 typedef struct Node { int data; struct Node * left; st ...
分类：
编程语言 时间：
2020-06-26 18:43:11
阅读次数：
77
源码位置 [Code:webrtc\src\api\audio_codecs\] [Code:modules\audio_coding\codecs\] WebRTC默认是采用OPUS编码。 Opus WebRTC中默认是采用Opus编码，Opus编码是由silk编码和celt编码合并在一起，sil ...
分类：
Web程序 时间：
2020-06-26 18:42:36
阅读次数：
154
1. order by，sort by，distribute by，cluster by的区别？ 2. 聚合函数是否可以写在order by后面，为什么？ 需求催生技术进步 一、课前准备 二、课堂主题 三、课堂目标 1. 掌握hive表的数据压缩和文件存储格式 2. 掌握hive的JDBC代码操作 ...
分类：
其他好文 时间：
2020-06-26 18:42:15
阅读次数：
58
https://www.cnblogs.com/biglucky/p/4305131.html 固定内存pinned memory,或者不可分页内存,它的一个重要特点是操作系统将不会对这块内存分页并交换到磁盘上,从而保证了内存始终驻留在物理内存中.也正因为如此,操作系统能够安全地使某个应用程序访问该 ...
分类：
其他好文 时间：
2020-06-26 18:41:57
阅读次数：
39
背景 项目实际生产环境中，经常因为redis缓存数据和数据库数据不一致导致各种问题，归根揭底是因为从db同步数据到redis中这个过程不稳定，容易漏数据。所以每次出现问题就需要根据问题来确认是哪个缓存key数据不一致导致的问题，然后通过页面单条刷新功能进行redis数据同步。 ps：这次重构比较坑， ...
分类：
其他好文 时间：
2020-06-26 18:41:46
阅读次数：
66
前言 欢迎关注公众号，白嫖原创PDF，也可以催更，微信搜：JavaPub，回复：【666】 Git 在生产工作中是使用频率很高的工具，但我发现很多文章只是对它做了简单的提交命令说明，真正遇到 版本冲突或文件丢失 等问题又定位不到原因，浪费大量时间。本篇文章较长，但都是在实际项目中用到的点。 阅读本文 ...
分类：
其他好文 时间：
2020-06-26 18:41:30
阅读次数：
52
参考：https://blog.csdn.net/qq_26774013/article/details/89186090?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonec ...
分类：
其他好文 时间：
2020-06-26 18:40:41
阅读次数：
68
监督学习（Supervised Learning） 添加标签，手把手训练。 比如线性回归算法。 半监督学习（Semi-supervised Learning） 非监督学习（Unsupervised Learning） 通过有标签或没标签的数据集，让机器自己去找出规律。比如分类算法。 结构化学习（St ...
分类：
其他好文 时间：
2020-06-26 18:40:25
阅读次数：
55
1. 连接查询的补充 (1) 内连接查询（两张表匹配的部分，比如这个学生即在学生表、又在成绩表） 主表 inner join 从表 on 主键=外键 => where 主键=外键 select * from info inner join mark on info.sid=mark.sid sele ...
分类：
数据库 时间：
2020-06-26 18:40:13
阅读次数：
56
一、简介 1.1 多数据源支持 Spark 支持以下六个核心数据源，同时 Spark 社区还提供了多达上百种数据源的读取方式，能够满足绝大部分使用场景。 CSV JSON Parquet ORC JDBC/ODBC connections Plain-text files 注：以下所有测试文件均可从 ...
分类：
数据库 时间：
2020-06-26 18:39:56
阅读次数：
61
疑惑 用过Flask的人应该都知道session。 刚接触时，我有些疑惑，为什么Flask的session可以使用如下的一些方法？ session.username = '' # 将键值存进session session['username'] = [] # 同上 del session['user ...
分类：
其他好文 时间：
2020-06-26 18:39:43
阅读次数：
63
一、安装PHP php官网下载地址：https://www.php.net/downloads 更新yum源(此步可以跳过) yum -y update 1.首先安装依赖包 yum install libxml2 libxml2-devel bzip2 bzip2-devel libcurl lib ...
分类：
Web程序 时间：
2020-06-26 18:39:30
阅读次数：
78
1、面向接口编程 （1）概念 接口是一种规范，一个接口可以有多个实现，面向接口编程可以实现在不修改源代码（最好的方式是修改配置文件而不修改源代码，因为java代码需要编译，而配置文件不需要 ）的情况下对功能进行切换。 （2）好处 解耦（耦合是指两种事物相互依赖的程度） 学过java的人都知道，jav ...
分类：
编程语言 时间：
2020-06-26 18:39:19
阅读次数：
89
普利姆算法（加点法）求最小生成树 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> ...
分类：
编程语言 时间：
2020-06-26 18:39:00
阅读次数：
53
