一、DDL数据定义 1、创建数据库 1）创建一个数据库，数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db。 hive (default)> create database db_hive; 2）避免要创建的数据库已经存在错误，增加 if not exists ...
分类：
其他好文 时间：
2021-07-26 16:38:58
阅读次数：
0
MySQL数据库设计规范（仅供参考） 目录 规范背景与目的 设计规范2.1 数据库设计2.1.1 库名2.1.2 表结构2.1.3 列数据类型优化2.1.4 索引设计2.1.5 分库分表、分区表2.1.6 字符集2.1.7 程序DAO层设计建议2.1.8 一个规范的建表语句示例2.2 SQL编写2. ...
分类：
数据库 时间：
2021-07-26 16:38:19
阅读次数：
0
1、轮询策略：按照消息尽量保证每个分区的负载，消息会均匀分布到每个partition。写入消息的时候，key为null的时候，默认使用的是轮询策略。 2、随机策略：不使用。 3、按key写入策略：key.hash()%分区的数量。 4、自定义分区策略：类似于mapReduce指定分区。 乱序问题： ...
分类：
其他好文 时间：
2021-07-26 16:34:25
阅读次数：
0
当MySQL单表记录数过大时，数据库的增删改查性能会明显下降，常见的优化方法如下： （1）限定数据的范围 务必禁止不带任何限制数据范围条件的查询语句。比如我们当用户在查询订单历史的时候，可以控制在一个月范围内。 （2）读写分离 经典的数据库拆分方案，主库负责写，从库负责读。 （3）垂直分区 根据数据 ...
分类：
其他好文 时间：
2021-07-19 16:43:09
阅读次数：
0
数据积压指的是消费者因为一些外部的IO、一些比较耗时的操作（full GC--stop the world），就会造成消息在partition中一直存在得不到消费，就会产生数据积压。 所以需要监控系统（kafka的监控系统Eagle），如果出现这种情况，需要尽快处理，虽然后续的spark strea ...
分类：
其他好文 时间：
2021-07-13 17:40:18
阅读次数：
0
PostgreSQL的分区表创建较Oracle分区表复杂些，需要借助创建继承表和触发器的模式实现, 具体创建方法可以参照以下实验, 供参考。 创建父表 123456789101112131415161718 CREATE TABLE fenqu_table ( id integer NOT NULL ...
分类：
其他好文 时间：
2021-07-12 17:52:04
阅读次数：
0
MySQL分区表概述 我们经常遇到一张表里面保存了上亿甚至过十亿的记录，这些表里面保存了大量的历史记录。 对于这些历史数据的清理是一个非常头疼事情，由于所有的数据都一个普通的表里。所以只能是启用一个或多个带where条件的delete语句去删除（一般where条件是时间）。 这对数据库的造成了很大压 ...
分类：
数据库 时间：
2021-07-02 16:37:28
阅读次数：
0
mysql创建分区时依赖字段需要设为主键 例 我的依赖字段为collect_time 需要先创建至少一个分区 例：创建第一个分区时间小于’2020-02-01’ALTER TABLE tb_electric_power_info PARTITION BY RANGE (TO_DAYS(collect ...
分类：
数据库 时间：
2021-07-02 16:36:57
阅读次数：
0
1、查看系统分区的详细情况 fdisk -l 2、对磁盘进行分区 #需要注意的是/dev/sdb要根据第一步查看的路径来设置,挂载的路径实际操作的时候略有不同 fdisk /dev/sdb 创建新分区 # 1 选择n创建 ? Command (m for help): n # 2 创建分区 Part ...
分类：
其他好文 时间：
2021-07-02 16:19:29
阅读次数：
0
一、SWAP分区大小设置参考： 4G以内的物理内存，SWAP 设置为内存的2倍。 4-8G的物理内存，SWAP 等于内存大小。 8-64G 的物理内存，SWAP 设置为8G。 64-256G物理内存，SWAP 设置为16G。 二、扩充或缩小SWAP分区： [root@node1 ~]# swapon ...
分类：
系统相关 时间：
2021-07-01 17:36:10
阅读次数：
0
