"TOC" 一、为什么要做分库分表 在数据爆炸的年代,单表数据达到千万级别,甚至过亿的量,都是很常见的情景。这时候再对数据库进行操作就是非常吃力的事情了,select个半天都出不来数据,这时候业务已经难以维系。不得已,分库分表提上日程,我们的目的很简单, 减小数据库的压力,缩短表的操作时间 。 二、 ...
分类:
其他好文 时间:
2020-04-03 19:51:46
阅读次数:
96
package operationMysql import config.conf.{sc, spark_session} import org.apache.spark.sql.DataFrame object readingMysqlOperation { def main(args: Arra ...
分类:
数据库 时间:
2020-04-03 00:21:17
阅读次数:
126
问题:a表中有单位,b表中也有单位,现在要替换a表中的所有单位编号,需要查询B表(相当于单位表)mysql 和SqlServer都可以使用 UPDATE sys_teleuser aset deptcode=(select DISTINCT dept_id from sys_dept b where ...
分类:
其他好文 时间:
2020-04-02 18:17:53
阅读次数:
394
场景:关联查询,一张主表关联4张表进行查询。主表数据量是16万,其中被关联的一张表的数量是6万。 遇到页面响应速度过慢的情况,首先考虑是否是sql查询缓慢引起的。 第一步开启mysql的慢查询日志(网上教程很多,本篇文章不再赘述) 第二步分析慢查询日志,这里要说下分析工具。常用的有两种,一是mysq ...
分类:
数据库 时间:
2020-04-02 16:09:21
阅读次数:
78
一、hive中表分为两种 1、内部表(管理表): 删除表的时候删除hdfs上的数据。 2、外部表 删除表的时候不删除hdfs上的数据。 外部表不能使用insert的方式插入数据,所有的数据来源,都是外部别人提供的,所以hive认为自己没有独占这份数据,所以删除hive表的时候,不会删 除表里面的数据 ...
分类:
其他好文 时间:
2020-03-31 19:14:39
阅读次数:
79
根据需求,保存表数据时需要自动生成一个编号,格式如:AA-2020-03-31-0001 (AA-yyyy-MM-dd-序号)。数据库用的mysql,所以创建一个mysql函数。 1、建表: create table sys_sequence_number(sequenceType varchar( ...
分类:
数据库 时间:
2020-03-31 14:24:46
阅读次数:
805
逐条录入数据 C /// /// 一条条进行数据录入 /// /// /// /// private static int InsertDataTable(string tableName, DataTable dt) { //循环列,循环每行,执行insert sql语句 string colSt ...
分类:
数据库 时间:
2020-03-31 14:18:04
阅读次数:
116
给定一批严格递增排列的整型数据,给定一个x,若x不存在,则插入x,要求插入后保持有序。存在则无需任何操作。 输入格式: 输入有两行: 第一个数是n值,表示链表中有n个数据。后面有n个数,分别代表n个数据。 第二行是要插入的数。 输出格式: 输出插入后的链表数据,以空格分开。行末不能有多余的空格。 输 ...
分类:
其他好文 时间:
2020-03-30 23:20:50
阅读次数:
520
目录 Mysql数据类型数据库的操作SQL命令 表结构的创建SQL命令 表结构的修改SQL命令 表数据的增删改查where聚合函数group分组limit限制记录连接 Mysql数据类型 数值 整形 int tinyint 浮点型 float double 表示的精度不同 float 6位有效,do ...
分类:
数据库 时间:
2020-03-30 18:03:53
阅读次数:
93
[TOC] 前言 本篇博客主要是记录手写这些这数据结构的底层实现,加深对线性结构的理解,实现自己的一个小型数据结构库,也会进行简单的时间复杂度分析,对不同的实现进行比较和优化,即侧重于代码实现。由于数据结构是实践性比较强的一个科目,希望大家在看这篇博客时,自己也去写一下代码,看一下运行结果是不是自己 ...
分类:
其他好文 时间:
2020-03-29 10:27:32
阅读次数:
165