mysqldump 简介 mysqldump 是一种用于逻辑备份的客户端工具，它会产生一套能够重新构建数据库或表的SQL语句。所谓逻辑备份：是利用SQL语言从数据库中抽取数据并存于二进制文件的过程。逻辑备份文件只能用来对数据库进行逻辑恢复，即数据导入，而不能按数据库原来的存储特征进行物理恢复。 用m ...
分类：
数据库 时间：
2017-05-07 10:13:09
阅读次数：
204
正在做一个外包项目，虽然老板百般让我复制别人写好的代码（普通jsp跟servlet做的，一个字：乱）。 但是！！我怎么可能这么没有追求，学了一段时间的SSM框架后，果断用SSM改装了，当然咯，前端的版式和模样都一样，所以看着没区别。可以后期维护肯定不一样的。维护起来一定会越来越深刻。按照我想法，用j ...
分类：
其他好文 时间：
2017-04-21 18:51:38
阅读次数：
173
情况描述 解决方法 方法一：Shade and relocate 简介 Shade Elasticsearch 引入shade ES jar 方法二：修改集群Job配置策略（未实验） 情况描述 使用JDBC从Hive中抽取数据，所以maven项目中有hive依赖库； 数据导入Elasticsearc ...
分类：
其他好文 时间：
2017-04-05 14:51:16
阅读次数：
941
最近碰到一个测试需求，使用到了在线分析处理（OLAP），现总结记录一下，也希望能帮到有相关问题的朋友。 1. 测试环境是DB2，通过ETL（数据抽取，数据转换，数据加载）技术将数据源数据加载到目标数据仓库。 2. 需求大概意思：验证能否将包含制定商品编码的订单从数据源加载到目标数据库。 3. 目标数 ...
分类：
数据库 时间：
2017-03-18 23:04:26
阅读次数：
382
场景：假设有一张表数据量很大，需要按一个时间来循环增量抽取 方法：主要是通过JOB自身调用，实现循环调用，类似于 函数自调用 的循环。 1.JOB全图： 2.获取增量时间，并设置增量时间环境变量 3.通过增量环境变更，获取本次 增量数据 4.判断增量时间是否大于当前时间，判断是否继续执行一次的增量 ...
分类：
其他好文 时间：
2017-01-12 08:16:07
阅读次数：
315
1.设计一个增量 配置表ETL_INCREMENTAL，用于配置表的增量时间等数据 2.增量JOB全图如下： 2.1获取增量时间变量，并设置增量变量 2.2 表的增量转换，在表中引用2.1的增量变量 2.3 完成增量后，修改配置表ETL_INCREMENTAL ...
分类：
其他好文 时间：
2017-01-12 03:04:22
阅读次数：
193
场景： 判断抽取的数据在目标库中是否已经存在(同一个病人是否已经存在治疗方案号)： 1.若不存在，则GROUPROWNO=1，并Insert into 目标库 ( 判断外关联字段是否为空 ) 2.若已存在(同一个病人是否已经存在治疗方案号) ，则判断更新时间是否相同 2.1若抽取数据的创建时间、修改 ...
分类：
Web程序 时间：
2017-01-11 15:48:12
阅读次数：
2103
平时工作的时候，经常会遇到这种事情，从一个大表A中，抽取字段a在一个相对较小B的表的数据，比如，从一个详单表中，抽取几万个用户号码的话单出来。这种时候，一般来说， 做关联查询： create table A1 as select A.* from 详单表 A，号码表 B wherea.号码 = b. ...
分类：
其他好文 时间：
2016-12-20 10:03:47
阅读次数：
119
其实很简单，就是利用正则表达式，从文件中抽取，可以用awk或sed，例如：1.抽取数据库imysql_1的全部SQL语句#假设数据库imysql_1的下一个是imysql_2DBNAME1="imysql_1"DBNAME2="imysql_2"sed-n“/^--CurrentDatabase:\`$DBNAME1\`/,/^--CurrentDatabase:\`$DBNAME2\`/p”imysql..
分类：
其他好文 时间：
2016-12-05 23:43:25
阅读次数：
191
获取数据库增量数据的几种方式 a.触发器：在要抽取的表上建立需要的触发器，一般要建立插入、修改、删除三个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个临时表，抽取线程从临时表中抽取数据，临时表中抽取过的数据被标记或删除。触发器方式的优点是数据抽取的性能较高，缺点是要求业务表建 ...
分类：
数据库 时间：
2016-11-25 09:29:52
阅读次数：
228
