[Author]: kwu --- Sqoop处理Clob与Blob字段，在Oracle中Clob为大文本，Blob存储二进制文件。遇到这类字段导入hive或者hdfs需要特殊处理。...
分类：
其他好文 时间：
2015-06-28 09:57:54
阅读次数：
145
目前用到的sqoop是从oracle导入数据到hbase中的。sqoopimport--connectjdbc:oracle:thin:@192.168.193.37:1521:hispacedb--usernamehwmarket--passwordhwmarket37--m1--query"selectg.imei,g.idassign,to_char(g.logindate,‘yyyy-MM-ddhh24:mi:ss‘)ascrtdate,g.buildNumber,g.m..
分类：
其他好文 时间：
2015-06-26 13:12:23
阅读次数：
133
#解压包从http://sqoop.apache.org/下载。tar-xvfsqoop-1.4.5.tar.gzln-ssqoop-1.4.5.bin__hadoop-2.5.0sqoop#设置环境变量加到~/.bashrc中exportSQOOP_HOME=/opt/huawei/hbase/sqoopexportPATH=$SQOOP_HOME/bin:$PATH#将oracle的jdbcjar导入进来即可。cp/opt/oracle/product/1..
分类：
其他好文 时间：
2015-06-26 13:12:13
阅读次数：
190
一、境遇接触Hadoop已经有半年了，从Hadoop集群搭建到Hive、HBase、Sqoop相关组件的安装，甚至SparkonHive、Phoenix、Kylin这些边缘的项目都有涉及。如果说部署，我自认为可以没有任何问题，但是如果说我对于这个系统已经掌握了，我却不敢这么讲，因为至少MapReduce我还没有熟..
分类：
其他好文 时间：
2015-06-24 16:42:14
阅读次数：
236
一、Linux常用脚本
1.查看进程
ps -ef|grep -i tom
2.SCP从远程复制到本地目录
scp root@/172.19.2.75:/home/root/full.tar.gz /home/daisy/full.tar.gz
3.查看目录
pwd
4.查看hadoop集群状态...
分类：
系统相关 时间：
2015-06-18 15:26:35
阅读次数：
250
测试Mysql数据库的使用
前提：导入mysql jdbc的jar包
① 测试数据库连接
sqoop list-databases–connect jdbc:mysql://192.168.10.63 –username root–password 123456
②Sqoop的使用
以下所有的命令每行之后都存在一个空格，不要忘记
（以下6中命令都没有进行过成功测试）
...
分类：
数据库 时间：
2015-06-16 19:18:12
阅读次数：
794
SQOOP是用于对数据进行导入导出的。
(1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中
(2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中
1.把数据从mysql导入到hdfs(默认是/user/)中
sqoop import --connect jdbc:mysql://hadoop0:330...
分类：
其他好文 时间：
2015-06-16 14:48:00
阅读次数：
117
FROM :http://shiyanjun.cn/archives/624.htmlSqoop可以在HDFS/Hive和关系型数据库之间进行数据的导入导出，其中主要使用了import和export这两个工具。这两个工具非常强大，提供了很多选项帮助我们完成数据的迁移和同步。比如，下面两个潜在的需求：...
分类：
其他好文 时间：
2015-06-15 20:18:02
阅读次数：
149
Sqoop是什么？ sqoop是一个用来将hadoop和rdbms（mysql、oracle、postgres）的数据进行相互迁移的工具；他可以将rdbms的数据导入到hadoop的hdfs中，也可以将hdfs的数据导出到rdbms中。Sqoop原理？ sqoop是通过hadoop的mapred.....
分类：
其他好文 时间：
2015-06-14 13:47:56
阅读次数：
129
测试oracle数据库的连接使用①连接oracle数据库，列出所有的数据库[hadoop@eb179 sqoop]$sqoop list-databases--connect jdbc 10.1.69.173:1521:ORCLBI --username huangq -P或者sqoop list-...
分类：
数据库 时间：
2015-06-12 18:48:50
阅读次数：
171
