使用Kettle工具进行增量数据同步 使用Kettle工具进行增量数据同步 - 简书 (jianshu.com) 增量同步的方式有很多种，我使用的是: 快照表 + 触发器 需求： 当主库库表发生增删改时，从库库表与主库库表数据保持一致。 环境： 1、Mysql 2、kettle 7.1 思路： 1、 ...
分类：
其他好文 时间：
2021-06-18 19:54:36
阅读次数：
0
Redis Redis 简介 Redis 一个开源的，内存中的数据结构存储系统，它可以用作数据库，缓存和消息中间件。 它支持多种类型的数据结构，如 字符串 string 、散列 hashes 、列表 list 、集合 set 、有序集合 zset 和 范围查询，bitmaps 、hyperloglo ...
分类：
其他好文 时间：
2021-06-18 19:52:49
阅读次数：
0
方法1: 直接使用数据库提供的SQL语句 语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N 适应场景: 适用于数据量较少的情况(元组百/千级) 原因/缺点: 全表扫描,速度会很慢 且 有的数据库结果集返回不稳定(如某次返回1,2,3,另外的一次返回2, ...
分类：
数据库 时间：
2021-06-18 19:51:23
阅读次数：
0
一、更改my.cnf配置文件 1、用命令编辑my.cnf配置文件，即 vim /etc/my.cnf vi /etc/my.cnf nano /etc/my.cnf 2.在[mysqld]下添加skip-grant-tables，然后保存并退出 skip-grant-tables 3. 重启mysq ...
分类：
数据库 时间：
2021-06-18 19:38:10
阅读次数：
0
1. 列举出所有的数据库 命令行查看帮助 sqoop help 列出hadoop02主机所有的数据库 sqoop list-databases --connect jdbc:mysql://hadoop02:3306/ --username root --password 123456 查看某一个数 ...
分类：
其他好文 时间：
2021-06-18 19:33:43
阅读次数：
0
将数据从HDFS把文件导出到RDBMS数据库 导出前，目标表必须存在于目标数据库中。 默认操作是从将文件中的数据使用INSERT语句插入到表中 更新模式下，是生成UPDATE语句更新表数据 数据是在HDFS当中的如下目录/sqoop/emp，数据内容如下 1201,gopal,manager,500 ...
分类：
其他好文 时间：
2021-06-18 19:31:03
阅读次数：
0
一、数据预处理 1.1、在hdfs上新建目录 java程序启动前先在hdfs上建立相应文件夹，用于上传本地数据和处理后的数据 [root@hadoop102 ~]# hdfs dfs -mkdir -p /USAdatas/geodatas/inputs [root@hadoop102 ~]# hd ...
分类：
数据库 时间：
2021-06-18 19:17:01
阅读次数：
0
本资料以VMware虚拟机为节点进行创建kubernetes集群。 1.K8S集群部署节点规划 K8S-master01：K8S集群控制节点； K8S-node01、K8S-node02：运行POD的工作节点； harbor：创建本地镜像私有仓库； router：软路由koolshare，为K8S集 ...
分类：
Web程序 时间：
2021-06-18 19:15:03
阅读次数：
0
日期：2021/6/16 4.1 今日完成任务情况以及遇到的问题。 崔红梅：学习spring框架。 已完成 包凤梅：建立数据库，建立需要的数据表。 已完成 冯永萍：设计前端页面。 已完成 王 芬：调整类的层次关系和关联关系，定义软件数据库表结构。 已完成 4.2 成员贡献时间 崔红梅：0.8h 包凤 ...
分类：
其他好文 时间：
2021-06-18 19:13:46
阅读次数：
0
备份数据库 我们的数据在时刻更新着，当数据量到达一定程度时就需要进行备份，方便我们进行管理 本篇介绍怎么在指定时间备份数据库并打包，同时在满足某一个条件时就删除已经备份过的数据库文件 shell编程综合案例 需求分析 每天凌晨2:30备份数据库 数据库名到 /data/backup/db 备份开始和 ...
分类：
数据库 时间：
2021-06-18 18:58:34
阅读次数：
0
