expdp不依赖和参考NLS_LANG的设置，而是完全按照数据库本身的字符集进行转换,平时数据量不大时一直采用exp/imp导数据库，到了数据量大的时候expdp/impdp就看到效果了，一次exp导出28G的DMP文件用了3个小时，采用EXPDP用了20分钟。1.创建测试数据SQL>createtablespaceDATAdat..
分类：
数据库 时间：
2014-11-09 06:25:57
阅读次数：
209
为了生产库释放部分资源，需要将API模块迁移到mysql中，及需要导数据。
尝试了oracle to mysql工具，迁移时报错不说，这么大的数据量，用这种简陋的工具不大可靠。
意外发现平时用的数据库视图工具Navicat Premium中有数据迁移工具，意外的好用。这个工具本身支持mysql，oracle，sqlLite，PostgreSql数据库，因此而也提供了在不同数据库之间迁移数据的功...
分类：
数据库 时间：
2014-10-31 11:58:56
阅读次数：
158
起因：最近需要从hbase中向 ES中导一批数据，使用multiprocessing 启动多个程序同时向ES导数据，可以大大提高效率，因为导数的任务是可以按照时间分割的。
令我十分不解的，multiprocessing 是如何实现任务的分发，以及结果的回传的。我希望能够把它的实现机制与操作系统的进程机制对应起来。
经过阅读代码，得出的结论如下：
1. 父进程作为整个任务的分发器，每个worker是一个子进程
2. 子进程和父进程之间通过管道通讯，包括任务的分发和结果的回传（2个【管道】) ，管道通过【信号量...
分类：
其他好文 时间：
2014-10-03 13:57:04
阅读次数：
284
一、首先控制文件有什么作用呢？控制文件记录了如下信息：1、数据库的创建时间2、数据文件的位置3、日志文件的位置等作用是指导数据库 找到数据文件，日志文件并将数据库启动到 open 状态。与其用文字来描述，不如我们来看看control_file里面有些什么好了。然后在一一分析：SQL> show pa...
分类：
数据库 时间：
2014-09-18 18:44:54
阅读次数：
333
insert into MSS_BONUS(ID,NAME,BONUSFROM,BONUSTYPE,SUBBONUSTYPE,BONUSQUTY,BONUSAMT,VAILDATE,SUMMARY,ISONECONV,SENDFLAG,STATUS,CUSTID,INSERTTIMESTAMP,UP...
分类：
其他好文 时间：
2014-09-02 10:13:14
阅读次数：
170
1.导入到数据库
创建一个空数据库后
进入mysql安装目录 bin下
(1)导入命令 mysql -u root –p密码 数据库名
mysql -u root –yb ajswlw
(2)可使用source命令
Mysql> Use ajswlwl;
Mysql>Source d:\ajswlw.sql
2.数据库导出数据文件
（1）导出mysql数据库ajs...
分类：
数据库 时间：
2014-09-01 12:38:53
阅读次数：
245
oracle数据库中Date类型倒入到hive中出现时分秒截断问题解决方案1.问题描述： 用sqoop将oracle数据表倒入到hive中，oracle中Date型数据会出现时分秒截断问题，只保留了‘yyyy-MM-dd',而不是’yyyy-MM-dd HH24:mi:ss'格式的，后面的‘HH2....
分类：
数据库 时间：
2014-08-25 22:31:04
阅读次数：
589
1、首先要在Oracle数据库中建对应的表，Oracle数据库中的字段类型和Sql Server 有所不同，Oracle中常用的有varchar2、integer、nchar、date，Sql Server 的字段类型相对多一些，uniqueidentifier类型的长度是36。2、打开管理工具——...
分类：
数据库 时间：
2014-08-25 18:40:44
阅读次数：
309
背景：请事假在外中，听平台组同事反馈了一个问题，在往生产数据库中导入部分数据时会造成客户端的访问超时，初步定位是因为服务器磁盘占用IO过高，导数据时IO会飙升到100%，因此引起了不少数据库的慢查询操作导致客户端响应超时，无奈只好暂时停止了导入数据的脚本，同时也延..
分类：
其他好文 时间：
2014-08-19 19:17:35
阅读次数：
241
背景：请事假在外中，听平台组同事反馈了一个问题，在往生产数据库中导入部分数据时会造成客户端的访问超时，初步定位是因为服务器磁盘占用IO过高，导数据时IO会飙升到100%，因此引起了不少数据库的慢查询操作导致客户端响应超时，无奈只好暂时停止了导入数据的脚本，同时也延误了针对这部分数据的生产测试工作。于是我第二天回到公司就投入了对这个问题的跟踪定位工作。
环境描述：
操作系统
...
分类：
其他好文 时间：
2014-08-19 19:08:15
阅读次数：
302
