5、Sqoop安装配置在rmanager上操作#tar-zxfsqoop-1.4.5.bin__hadoop-2.5.0.tar.gz-C/var/data/#cd/var/data/;mvsqoop-1.4.5sqoop##这里的sqoop是编译后的版本#mvsqoop/conf/sqoop-site-template.xmlsqoop/conf/sqoop-site.xml#cp/opt/mysql-connector-java-5.1.18-bin.jarsqoop..
分类:
其他好文 时间:
2015-11-05 00:57:19
阅读次数:
315
3、Hive安装配置3.1安装MySQL在datanode5上安装MySQL#yum-yinstallmysql-servermysql#mysqlmysql>grantallprivilegeson*.*tohive@‘10.40.214.%‘identifiedby"hive";mysql>flushprivileges;3.2安装hive#tar-zxfapache-hive-0.13.1-bin.tar.gz-C/var/data/;mv/var/data/apa..
分类:
其他好文 时间:
2015-11-05 00:57:10
阅读次数:
278
http://blog.csdn.net/dbanote/article/details/8907650目前版本的Sqoop中,使用自由形式查询导入,只提供简单的查询,没有复杂的和“OR”条件查询在where子句中。http://blog.csdn.net/niityzu/article/detai...
分类:
其他好文 时间:
2015-10-29 14:45:52
阅读次数:
128
一、环境搭建 1.Hadoop http://my.oschina.net/u/204498/blog/519789 2.Sqoop2.x http://my.oschina.net/u/204498/blog/518941 3. mysql 二、从mysql导入hdfs 1.创建mysql数据库、表、以及测试数据 xxxxxxxx$??...
分类:
数据库 时间:
2015-10-21 14:13:40
阅读次数:
412
1、import增量导入的官方说明2、测试sqoop的increment import 增量导入在企业当中,一般都是需要经常执行的,如隔一个星期就执行一次增量导入,故增量导入的方式需要多次执行,而每次执行时,又去写相应的执行命令的话,比较麻烦。而sqoop提供了一个很好的工具save job的方式....
分类:
其他好文 时间:
2015-10-12 16:58:39
阅读次数:
1021
错误说明: 由于我的hadoop的集群是用cloudera manager在线自动安装的,因此他们的安装路径必须遵循cloudera的规则,这里只有查看cloudera的官方文档了,请参考:http://www.cloudera.com/content/cloudera/en/documentat....
分类:
数据库 时间:
2015-10-10 15:15:45
阅读次数:
326
首先下载sqoop,http://mirror.bit.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 注意hadoop版本,找到适合自己的安装包,下载完成后上传到服务器并解压 tar?xvzf?sqoop-1.4.6.bin__...
分类:
其他好文 时间:
2015-09-30 11:19:29
阅读次数:
132
[root@itcast03lib]#./sqoopimport--connectjdbc:mysql://192.168.1.10:3306/itcast--usernameroot--password123--tabletrade_detail--target-dir‘/sqoop/td‘--fields-terminated-by‘\t‘-bash:./sqoop:Nosuchfileordirectory[root@itcast03lib]#cd../[root@itcast03sqoop-1.4.4..
分类:
数据库 时间:
2015-09-17 15:37:30
阅读次数:
470
sqoop从mysql向hive中导数据,报数据库访问被拒绝。但诡异的是,sqoop的报错是提示连接本机的mysql被拒绝了,并不是提示连接目标数据所在的mysql被拒绝。我的还连了zookeeper,还会提示连接所有的zookeeper主机的...
分类:
数据库 时间:
2015-09-17 11:58:01
阅读次数:
306