在往hbase表里通过bulkload导数据时，某个mapreduce跑了一个多小时还没跑，看yarn界面，发现map还有一小部分没跑完，没跑完的map全在pending，running中没有，同时reduce在copy阶段把资源全用光，导致map没资源去跑，进而导致reduce一直在copy状态等...
分类：
其他好文 时间：
2015-07-22 18:05:01
阅读次数：
1700
SELECT b.dealerName as 经销商名称, c.comName as 品牌商名称, FROM_UNIXTIME(a.clearingTime/1000 ,'%y-%m-%d')as 付款时间, a.clearingAmount as 结算金额, CAST(a.clearingStat...
分类：
数据库 时间：
2015-07-14 19:44:23
阅读次数：
171
前言：不同类型的数据库互导数据，由于数据库机制不同，不能通过简单的复制粘贴实现，还有由于文件格式的不同，也不能简单的导出文件，导入数据库。关于informix导出数据，导入到oracle的方法，经过试验可以用如下方式：（虽然有点笨，但对于小批量需求，能行得通^_^）（曾经用过perl脚本实现，但由于...
分类：
数据库 时间：
2015-06-17 17:54:31
阅读次数：
185
[hadoop@mdhadoop ~]$ sqoop import -connect jdbc:oracle:thin:@192.168.8.228:1521:bonc -username AQ -password bonc1234 -table ORCL_TEST1 -hive-import -h...
分类：
数据库 时间：
2015-06-11 20:50:13
阅读次数：
168
在不同版本hdfs集群之间转移数据
最简单的办法就是把src集群的数据导到本地，然后起另一个进程将本地数据传到des集群上去。
不过这有几个问题：
效率降低
占用本地磁盘空间
不能应付实时导数据需求
两个进程需要协调，复杂度增加
更好的办法是在同一个进程内一边读src数据，一边写des集群。不过这相当于...
分类：
其他好文 时间：
2015-06-05 17:38:17
阅读次数：
226
每年评教都会遇到数据导入的一系列问题。从中收获颇丰。
这两天别人总在问我，你们基础出了什么问题，为什么总在导数据。数据没问题，为了做足准备，我们需要将8期版的最全的数据整理到10期数据库中。
背景介绍：问题在于从8期版基础系统到10期版基础系统在数据库设计方面有了很大的变化，例如10期学生表中存放着班级外键，而8期表中是用第三张表来维护关系的。10期的‘上课班’ 中需要课程和老师的关系...
分类：
数据库 时间：
2015-05-31 21:43:41
阅读次数：
181
对于这次的评教，大家都忙活了好多天了，从收集数据、核对数据，到导入数据，最后的评教，一推人每
天都在哪里忙碌着，在这期间大家即付出了许多，有学习到了很多的东西，从不同的角度看待评教会有不同的
收获。
一、管理者
虽然在这次评教中我不是负责人，但是凭借着去年导数据的经验，对于在评教前期的准备工作中，经常会
想着，如果让自己组织这次评教，我会怎么样做，会不会有更好的组织方式；...
分类：
其他好文 时间：
2015-05-31 18:30:06
阅读次数：
86
一、sqlserver数据备份命令SQLServer命令行导数据两种方式bcp和sqlcmd先说一下bcp:BCP是SQLServer中负责导入导出数据的一个命令行工具，它是基于DB-Library的，并且能以并行的方式高效地导入导出大批量的数据。BCP共有四个动作可以选择。(1)导入。这个动作使用in命令完成，后面..
分类：
数据库 时间：
2015-05-29 16:00:31
阅读次数：
241
今天在执行导数据的命令expdp之后发现少放了一个参数，赶紧CTRL+C，谁这个操作只能表面cancel这个操作，其实后台还在运行。system/******** schemas=CEN_DEV_OWNER20130506,CEN_DEV_USER20130506 directory=exp_dir dumpfile=expdp_cen052701.dmp,expdp_cen052702.dmp,e...
分类：
其他好文 时间：
2015-05-27 15:49:34
阅读次数：
146
阿里技术保障莱澳技术运维IDC专家1前言近几年，数据中心发展如火如荼。伴随云计算、大数据、物联网等从概念到实践，作为支撑这些业务发展的数据中心基础设施行业面临巨大的机遇和挑战。国内数据中心以投产机架或投资计算，近2~3年基本保持20%以上增速，尤其是国家政策引导数据..
分类：
其他好文 时间：
2015-05-18 21:03:54
阅读次数：
269
