基于Zookeeper的分步式队列系统集成案例 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hca ...
分类：
其他好文 时间：
2016-09-21 10:13:51
阅读次数：
253
导入 sqoop import --connect jdbc:mysql://20.12.20.165:3306/luo0907 --username root --password 12345 --table aa01 --fields-terminated-by '\t' -m 1 --hive ...
分类：
其他好文 时间：
2016-09-14 16:29:03
阅读次数：
158
1.sqoop的安装 1.1 与hadoop和hive的集成，修改/opt/cdh/sqoop-1.4.5-cdh5.3.6/conf/sqoop-env.sh 文件 1.2 验证安装是否成功 bin/sqoop version 查看sqoop版本 2.sqoop 基本操作 2.1 查看sqoop可 ...
分类：
其他好文 时间：
2016-09-10 13:02:24
阅读次数：
254
团队项目进展 这两天主要进展就是配置好了hadoop和sqoop环境，sqoop主要是将HDFS的文件导入到数据库中。 前台界面设计方面也在进行中，目前已经完成了从数据库中取值，而后显示在用户界面中。在显示的方式上，我们摒弃了以往单调的表格显示方式，即把数据统统显示在表格中，每一行只是一个值，这样的 ...
分类：
其他好文 时间：
2016-09-07 09:05:16
阅读次数：
119
2016年8月27日，解决sqoop先下载的是sqoop1.99.7，结果配置的时候，出现了没有server/conf目录，以及启动时出现无法配置错误./bin/sqoop.shserverstartyq@ubuntu:/opt/sqoop-1.99.7$./bin/sqoop.shserverstartSettingconfdir:./bin/../confSqoophomedirectory:/opt/sqoop-1.99...
分类：
其他好文 时间：
2016-08-27 23:47:03
阅读次数：
520
sqoop的1.99.7版本有问题，请千万不要用需求：将hive数据库中的TBLS表导出到HDFS之上；$SQOOP2_HOME/bin/sqoop.shclientsqoop:000>setserver--host127.0.0.1--port12000--webappsqoop创建connection：sqoop:000>createconnection--cid1Creatingconnectionforconnectorwit..
分类：
其他好文 时间：
2016-08-27 23:44:59
阅读次数：
251
从源代码上分析sqoop merge工具，并将其改造成可以支持多个merge字段的形式。
分类：
其他好文 时间：
2016-08-25 21:29:31
阅读次数：
262
前言由于经常要帮数据分析抽表，因此自己写了个自动生成impala和sqoop脚本的工具，结果今天发现一个库中17张表，只成功导入了12张。仔细检查才发现是是由于impala建表时候字段使用了location关键字的原因。分析建表语句impala-shell -i ip:25004 -q "
DROP TABLE IF EXISTS database.table;
CREATE EXTERNAL TA...
分类：
其他好文 时间：
2016-08-21 12:34:24
阅读次数：
775
sqoop 沟通hdfs和关系型数据库的桥梁，可以从hdfs导出数据到关系型数据库，也可以从关系型数据库导入数据到hdfs 下载：Apache 提供的工具 安装： 要求必须有jdk 和 hadoop的支持，并且有版本要求。 上传到linux中，进行解压 sqoop可以通过JAVA_HOME找到jdk ...
分类：
其他好文 时间：
2016-08-21 00:53:28
阅读次数：
145
1. 安装 tar -zxvf sqoop-1.4.6.tar.gz 参考：http://www.cnblogs.com/edisonchou/p/4440216.html http://www.cnblogs.com/wgp13x/p/5028220.html 2. 配置 vi conf/sqoo ...
分类：
其他好文 时间：
2016-08-17 00:08:39
阅读次数：
471
