Hive数据倾斜 key分布不均匀 业务数据本身的特性 SQL语句造成数据倾斜 解决方法 hive设置hive.map.aggr=true和hive.groupby.skewindata=true 还有其他解决方案 Hive内部表和外部表的区别 Hive 创建内部表时，会将数据移动到数据仓库指向的路 ...
分类：
其他好文 时间：
2019-11-17 10:23:34
阅读次数：
94
@author: Tobin @date: 2019/11/7 17:41:52 介绍MySQL处理不同字符集和语言的基本知识。 几个概念。 字符集：字母和符号的集合 编码：某个字符集成员的内部表示 校对：规定字符如何比较的指令 ...
分类：
其他好文 时间：
2019-11-07 19:40:04
阅读次数：
123
对于flume的增量抽取，首先想到的就是常用的那几种方法，监控日志，触发器，版本号，时间戳等等，虽然可以实现，但都对数据源有了一定限制，假如客户的系统内部表没有那些东西，这就是一件很难搞的事了，毕竟对方数据库不能随便动。 这个时候可以采用 $@$，它可以表示增量列上一次查询的值。，将它加入sql语句 ...
分类：
Web程序 时间：
2019-10-25 18:28:04
阅读次数：
272
在 Java 中有多种方法可以比较日期，日期在计算机内部表示为（long型）时间点——自1970年1月1日以来经过的毫秒数。在Java中，Date是一个对象，包含多个用于比较的方法，任何比较两个日期的方法本质上都会比较日期的时间。 本文主要介绍以下五种方式： 1. 使用 Date.compareTo ...
分类：
编程语言 时间：
2019-10-17 21:38:39
阅读次数：
105
本文源码： "GitHub·点这里" || "GitEE·点这里" 一、迭代器模式 1、基础概念 迭代器模式又叫游标模式，是对象的行为模式。迭代器模式可以顺序地访问一个聚集中的元素而不必暴露聚集的内部表象。 2、模式图解 3、核心角色 Iterator：迭代器角色 此抽象角色定义出遍历元素所需的接口 ...
分类：
编程语言 时间：
2019-09-23 09:29:49
阅读次数：
79
1 课程讲解 1.1 类型： 1.2 定义： 1.3 适用场景： 1.4 优点： 1.5 缺点： 1.6 与其他设计模式关系： 行为型 ◆定义：提供一种方法，顺序访问一个集合对象中的各个元素，而又不暴露该对象的内部表示 ◆访问一个集合对象的内容而无需暴露它的内部表示◆为遍历不同的集合结构提供一个统一 ...
分类：
其他好文 时间：
2019-09-21 12:23:03
阅读次数：
75
Hive四大表类型内部表、外部表、分区表和桶表 Hive四大表类型内部表、外部表、分区表和桶表 Hive四大表类型内部表、外部表、分区表和桶表 Hive四大表类型内部表、外部表、分区表和桶表 一、概述 总体上Hive有四种表：外部表，内部表（管理表），分区表，桶表。分别对应不同的需求。下面主要讲解各 ...
分类：
其他好文 时间：
2019-09-03 18:10:55
阅读次数：
81
迭代器 iterator模式是运用聚合对象的一种模式，可以在不知道对象内部表示的情况下，按照一定顺序访问各个元素。 一般仅用于底层聚合支持类，list、vector、stack、ostream等。 和指针的区别？ 迭代器不是指针，是类模板，表现的像指针。 模拟了指针的一些功能，重载了指针的一些操作符 ...
分类：
其他好文 时间：
2019-07-28 16:00:22
阅读次数：
98
[TOC] python格式化输出有2种，一种是%运算符，一种是字符串的formant方法 一、%运算符 运算符格式化字符串，在字符串内部，%s表示用字符串替换，%d表示用整数替换，有几个%?占位符，后面就跟几个变量或者值，顺序要对应好。如果只有一个%?，括号可以省略。 字符串格式代码 ...
分类：
其他好文 时间：
2019-07-23 10:12:40
阅读次数：
413
一、定义 迭代器模式，提供一种方法顺序访问一个聚合对象中的各种元素，而又不暴露该对象的内部表示。 二、结构 (1)迭代器角色（Iterator）:定义遍历元素所需要的方法，一般来说会有这么三个方法： next()：获取下一个元素的方法， hasNext()：判断是否遍历结束的方法 remove()： ...
分类：
其他好文 时间：
2019-06-25 00:00:23
阅读次数：
131
