最近要对一套老系统进行数据迁移,这样苦逼的工作就来了,需要新旧两套系统数据表字段进行对比,最终将老系统的数据迁移到新系统中来。
尽管数据结构不一致、部分字段不一致,也只是恶心一点麻烦一点,勉勉强强速度慢点,还是可以整理出来,并编写好迁移的SQL语句。
一步一步走了好几步了,出来个更恶心的怪物了!强大的XML数据字段
本来应该是单独存到一个的信息,在老系统中硬生生的存到了一个X...
分类:
数据库 时间:
2015-05-20 20:40:43
阅读次数:
155
[前言]公司数据迁移后期会使用到MFS,看过很多有关的文章,但大部分都是moosefs安装配置和单点手动备份。经过很长一段时间思考,想将其与keepalived相结合以提高可用性,也就有了我这篇文章。本文以官网最新稳定版moosefs2.0.66-1,和centos6.6,具体思路如下:原理部署思路IP、..
分类:
其他好文 时间:
2015-05-20 18:47:42
阅读次数:
551
最近在自己弄lamp的架构网站平台,而且兴致勃勃的为云服务器申请了网站备案,此贴记录我的lamp架构过程,并预计以后lamp向lnmp做数据迁移:hehehe进入Apache官网下载稳定版Apache编译包:httpd.apache.org解压包到指定目录tarzxfhttp-2.2.0.tar.gz-C/usr/local/src进入目录:执..
分类:
其他好文 时间:
2015-05-19 16:49:52
阅读次数:
113
在一个update和insert操作频繁的表中,少量数据测试的时候运行良好,在实际运营中,因数据量比较大(21万条记录),会出现死锁现象,用show processlist查看,可以看到一个update语句状态是Locked,一个delete语句状态是Sending data。查看了一下参考手册,把锁定相关的资料整理下来,以便自己记录和追踪该问题的解决情况:
MySQL 5.1支持对MyIS...
分类:
数据库 时间:
2015-05-18 18:52:50
阅读次数:
154
在做数据迁移的过程中,我们会面临两种常见的hang住场景:
1.表不能修改加字段,不能增大长度。
2.存储过程不能覆盖。
场景1:为表添加字段hang住的处理
session1:
create table test as select * from dba_objects;
select * from test where object_id = 20 for upda...
分类:
数据库 时间:
2015-05-18 16:49:42
阅读次数:
141
黑盒:静态:产品说明书测试(标准审查、 产品说明书审查、抠字眼)动态:通过性测试和失效性测试:首先编写通过性测试,而后编写失效性测试(错误提示信息:可归为通过性测试或失效性测试)数据测试: 边界条件 次边界条件 空值 默认 空白 零值 无 非法老技术局状态测试:状态转换图、独立状态、状态转换所需的输...
分类:
其他好文 时间:
2015-05-15 10:35:11
阅读次数:
143
1. Kettle
1.1.
简介
Kettle是一款国外开源的etl工具,纯java编写,数据抽取高效稳定(数据迁移工具)。Kettle中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。
2. 集成开发
2.1.
transf...
分类:
其他好文 时间:
2015-05-14 18:46:24
阅读次数:
177
安装之后把之前infobright的数据迁移到新安装的infobright上。1:挺掉相关的服务2:scp 把旧数据拷到新安装的infobright上3:修改/etc/my-ib.cnf的数据目录4:修改/etc/init.d/mysqld-ib 的相应数据目录5:启动服务:Option: KNLe...
分类:
其他好文 时间:
2015-05-14 18:01:12
阅读次数:
175
在使用kettle工具(数据迁移软件)在postgre数据库中插入记录时,出现如下错误,解决办法: 在/etc/pgsql/pgbouncer.ini中修改配置,设置 server_reset_query = DISCARD ALL
分类:
数据库 时间:
2015-05-11 08:50:26
阅读次数:
170
一、目的 将不同服务器上的表合并到另外一个服务器上。例如:将服务器1上的表A和服务器2上的表B,合并到服务器3上的表C 要求:表A需要被裁剪(去掉不必要的字段)、表B需要增加一些字段 二、使用方法 (1)在服务器3上的数据库中新建一张表C(符合实际系统设计的字段) (2)新建表输入,连接服务器1,通...
分类:
其他好文 时间:
2015-05-10 22:08:31
阅读次数:
619