码迷,mamicode.com
首页 > 其他好文 > 详细

使用sqoop --options-file 导入hive数据

时间:2015-05-07 14:32:21      阅读:185      评论:0      收藏:0      [点我收藏+]

标签:hive   sqoop   hadoop   

[Author]: kwu


使用sqoop --options-file直接导入hive数据,把操作命令语句写在文件中,便于管理及管理

1、创建hive数据库及表

create database DB_TEST;

CREATE TABLE

    UserRegLoginLog
    (
        ID BIGINT,
        fld_date TIMESTAMP,
        fld_ip string,
        fld_server_ip string,
        fld_UA string,
        UserId BIGINT ,
        UserName string,
        PassWord string,
        ActionType INT ,
        ActionTime TIMESTAMP ,
        ActionIP string,
        FromHost string,
        UrlRefer string,
        RemotePort string
    )
ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t‘ ;




2、编写sqoop操作文件,注意做分隔符需要与hive的一致

vi UserRegLoginLog_hive.opt  

import 
--connect 
jdbc:jtds:sqlserver://10.130.2.6:1433;;DatabaseName=DB_TEST 
--username 
sa 
--password 
123456
--table 
UserRegLoginLog
--where
1=1
--columns
" ID ,fld_date ,fld_ip ,fld_server_ip ,fld_UA ,UserId  ,UserName ,PassWord ,ActionType  ,ActionTime  ,ActionIP ,FromHost ,UrlRefer,RemotePort "
--fields-terminated-by 
'\t'
--hive-import
--hive-overwrite
--hive-drop-import-delims
--hive-table
DB_TELECAST.UserRegLoginLog

使用sqoop --options-file 执行操作文本

sqoop --options-file ./UserRegLoginLog_hive.opt


3、指定hive的数据库,格式为: 数据库.表名

DB_TEST.UserRegLoginLog


使用sqoop --options-file 导入hive数据

标签:hive   sqoop   hadoop   

原文地址:http://blog.csdn.net/bdchome/article/details/45560067

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!