案例： 1. 把原始log数据加载到表beifenglog中； 2. 建立子表beifenglog_hour_visit，存贮常用字段，并从原表中提取数据到子表中； 3. 提取原表数据过程中，使用UDF处理字段信息，存储到子表中； 1. 把原始log数据加载到表beifenglog中； 加载原表数据 ...
分类：
其他好文 时间：
2016-06-28 16:58:39
阅读次数：
221
1、hadoop、Hive、sqoop、spark、storm、odps、dremel、hbase（hadoop、spark重要） 2、oracle、mysql后台开发，以及对量海数据处理、高并发请求处理 3、熟悉Linux，Shell或Python等语言 4、互联网行业数据挖掘 5、分布式、多线程 ...
分类：
其他好文 时间：
2016-06-19 15:40:13
阅读次数：
147
当我们手动执行脚本没有问题时，我们认为万事OK了。其实不然放入crontab之后缺少各种东西。我的业务是使用hive中原始表当数据源，创建一个临时表，将数据原的数据清洗一遍放入临时表，再使用sqoop将临时表的数据导入到Mysql中。首先我的hive表是orc文件压缩格式，sqoop无法直接..
分类：
数据库 时间：
2016-06-09 01:06:11
阅读次数：
324
摘要 加载数据到HBase的方式有多种，通过HBase API导入或命令行导入或使用第三方(如sqoop)来导入或使用MR来批量导入（耗费磁盘I/O，容易在导入的过程使用节点宕机），但是这些方式不是慢就是在导入的过程的占用Region资料导致效率低下，今天要讲的就是利用HBase在HDFS存储原理及 ...
分类：
其他好文 时间：
2016-06-04 22:17:43
阅读次数：
431
首先我们先了解一下Hadoop的起源。然后介绍一些关于Hadoop生态系统中的具体工具的使用方法。如:HDFS、MapReduce、Yarn、Zookeeper、Hive、HBase、Oozie、Mahout、Pig、Flume、Sqoop。...
分类：
其他好文 时间：
2016-05-27 12:20:23
阅读次数：
157
本篇文章在具体介绍Sqoop之前，先给大家用一个流程图介绍Hadoop业务的开发流程以及Sqoop在业务当中的实际地位。
如上图所示：在实际的业务当中，我们首先对原始数据集通过MapReduce进行数据清洗，然后将清洗后的数据存入到Hbase数据库中，而后通过数据仓库Hive对Hbase中的数据进行统计与分析，分析之后将分析结果存入到Hive表中，然后通过Sqoop这个工具将我们的数据挖...
分类：
其他好文 时间：
2016-05-27 11:55:57
阅读次数：
268
1）list-databases List available databases on a server sqoop list-databases --connect jdbc:db2://<server>:<port>/<database> --username username --passw ...
分类：
其他好文 时间：
2016-05-25 13:03:47
阅读次数：
347
一、Sqoop是什么Sqoop 是连接传统关系型数据库和 Hadoop 的桥梁。它包括以下两个方面：
1、 将关系型数据库的数据导入到 Hadoop 及其相关的系统中，如 Hive和HBase。
2、 将数据从 Hadoop 系统里抽取并导出到关系型数据库。
Sqoop 的核心设计思想是利用 MapReduce 加快数据传输速度。也就是说 Sqoop 的导入和导出功能是...
分类：
其他好文 时间：
2016-05-18 10:51:52
阅读次数：
285
一、初学者问题： 请教个问题在实际的生成环境里面，数据源产生的地方部署Hadoop,还是需要程序把数据给迁移到Hadoop云上面去啊 回答： (1)hadoop不是云，hadoop是处理大数据的 (2)如果产生数据的话，你可以使用sqoop导入数据，也可以使用手机日志工具，比如flume 更多资料： ...
分类：
其他好文 时间：
2016-05-17 11:09:43
阅读次数：
147
概要
为了调查hadoop生态圈里的制品，特地的了解了一下RDBMS和hdfs之间数据的导入和导出工具，并且调查了一些其他同类的产品，得出来的结论是：都是基于sqoop做的二次开发或者说是webUI包装，实质还是用的sqoop。比如pentaho的PDI，Oracle的ODI，都是基于此，另外，Hortnetwork公司的sandbox，Hue公司的Hue webUI，coulder的coul...
分类：
数据库 时间：
2016-05-12 12:04:30
阅读次数：
364
