码迷,mamicode.com
首页 > 数据库 > 详细

关系型数据库导入到Hbase

时间:2016-01-25 17:11:51      阅读:200      评论:0      收藏:0      [点我收藏+]

标签:

#!/bin/sh
. /etc/profile

sqoop import #连接
--connect \ 
"jdbc:mysql://192.168.1.107:3306/test" #用户名   
--username  root#密码
 --password 123456 #使用多少个Map
   - m\ 
 1 #如果有null用‘‘替代
--null-string‘‘#Mysql的表名
   --table user #字段
   --columns  "id,host,user,password" #可加条件  
--where
  id=108
#Hbase的表名
   --hbase-table aa #列族
   --column-family cf #那一列字段作为rowkey呢?
   --hbase-row-key id 

 关系型数据库的ID一般来说是自增的,如果我们导入到Hbase可能会造成存储热点,如何避免呢?

维护一个reverse(id) 即可。

一般来说在关系型数据库创建一个字段,进行翻转

update user set reverse_id = reverse(id);

然后把reverse_id 当做RowKey即可

 

调用执行

sqoop --options-file ./user.opt 

关系型数据库导入到Hbase

标签:

原文地址:http://www.cnblogs.com/thinkpad/p/5157759.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!