码迷,mamicode.com
首页 >  
搜索关键字:sqoop    ( 660个结果
Eclispe远程调试sqoop
利用eclipse远程调试功能,实现sqoop 本地环境集成: 利用cygwin部署 0、将sqoop-1.4.2放在/home/Administrator/hadoop 1、sqoop中设置HOME_HOME:    修改SQOOP_HOME/bin/configure-sqoop  :HADOOP_HOME=/cygdrive/e/work/hadoop-1.0.3(c...
分类:其他好文   时间:2015-06-03 11:51:51    阅读次数:129
Azure HDInsight 和 Spark 大数据分析(一)
What is HDInsight? Microsoft Azure HDInsight 是基于 Hortonoworks Data Platform (HDP) 的 Hadoop 集群,包括Storm, HBase, Pig, Hive, Sqoop, Oozie, Ambari等(具体的组件请参...
分类:其他好文   时间:2015-06-01 18:15:16    阅读次数:201
Hadoop下各技术应用场景
数据采集和DataFlow对于数据采集主要分为三类,即结构化数据库采集,日志和文件采集,网页采集。对于结构化数据库,采用Sqoop是合适的,可以实现结构化数据库中数据并行批量入库到hdfs存储。对于网页采集,前端可以采用Nutch,全文检索采用lucense,而实际数据存储最好是入库到Hbase数据...
分类:其他好文   时间:2015-05-30 07:01:49    阅读次数:205
sqoop内部结构
1.1Sqoop内部结构本节介绍Sqoop的内部结构。Sqoop程序是由的主类com.cloudera.sqoop.Sqoop驱动。有限数量的额外的类在同一个包:SqoopOptions(如前所述),ConnFactory(即熟练操作ManagerFactory实例)。1.1.1一般程序流程一般的程序流程如下:com.cloudera.sqoop.Sqoop是主..
分类:其他好文   时间:2015-05-27 19:20:15    阅读次数:157
sqoop内部结构
1.1  Sqoop内部结构 本节介绍Sqoop的内部结构。 Sqoop程序是由的主类com.cloudera.sqoop.Sqoop驱动。有限数量的额外的类在同一个包:SqoopOptions (如前所述),ConnFactory(即熟练操作ManagerFactory实例)。 1.1.1    一般程序流程 一般的程序流程如下: com.cloudera.sqoop.Sqoop是主类...
分类:其他好文   时间:2015-05-27 19:11:28    阅读次数:169
sqoop内部结构
1.1Sqoop内部结构本节介绍Sqoop的内部结构。Sqoop程序是由的主类com.cloudera.sqoop.Sqoop驱动。有限数量的额外的类在同一个包:SqoopOptions (如前所述),ConnFactory(即熟练操作ManagerFactory实例)。1.1.1 一般程序流程一般...
分类:其他好文   时间:2015-05-27 18:54:31    阅读次数:115
sqoop配置
catalina.properties common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../lib/*.jar,/opt/hadoop/share/hadoop/common/*.jar...
分类:其他好文   时间:2015-05-26 10:52:37    阅读次数:122
基于Hive及Sqoop的每日PV、UV、IP定时分析
[Author]: kwu -- 基于Hive及Sqoop的每日PV、UV、IP定时分析...
分类:其他好文   时间:2015-05-24 17:32:18    阅读次数:364
mapreduce job所需要的各种参数在Sqoop中的实现
1) InputFormatClass com.cloudera.sqoop.mapreduce.db.DataDrivenDBInputFormat 2) OutputFormatClass1)TextFile com.cloudera.sqoop.mapreduce.RawKeyTextOutputFormat 2)SequenceFile org.apache.hado...
分类:其他好文   时间:2015-05-21 17:32:22    阅读次数:386
Sqoop的使用(Mysql To HBase)
最近需要将mysql的数据整合到HBase中,原本使用MapReduce,自己制作job将mysql的数据导入,查阅资料过程中,发现了开源工具sqoop(关系性数据库与HDFS,HBASE,HIVE等)互相导入的工具,于是准备尝试使用,看是否能够满足目前数据转移的需求。sqoop import --...
分类:数据库   时间:2015-05-20 20:06:47    阅读次数:281
660条   上一页 1 ... 51 52 53 54 55 ... 66 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!