1.Hbase简介1.面向列的分布式数据库2. 以HDFS作为文件系统3. 利用MapReduce处理Hbase中海量数据4. ZookKeeper作为协调工具5. sqoop提供Hbase到关系型数据库中数据导入功能6. Hive和pig提供高层语言支持如HSQL2. 伪分布式安装准备： 安装Ha...
分类：
其他好文 时间：
2015-05-19 10:16:37
阅读次数：
153
前言： 博客园开博很久了，一直想写点什么。或许自己能力有限，不够自信。本来想以一篇华丽丽的技术分享作为博客园的开篇的。酝酿了很久的sqoop使用分享，但是一直封存在草稿箱。最近需要倒腾文件，便以此文作为笔记开篇吧 ：）使用背景： 远程文件传输的工具有很多，例如rz、sz；scp；ftp等。我用的.....
分类：
Web程序 时间：
2015-05-12 22:33:57
阅读次数：
236
Impala与HBase整合测试说明：1、测试思路：使用sqoop将测试数据从关系数据库mysql导入到hbase中；接着进行Impala与HBase的整合测试；最后，如果环境允许，对比关系型数据库进行性能测试。2、测试环境：Cloudera5.3.0版本IP地址主机名说明172.16.30.2h1监控节点、mysql数据库172..
分类：
其他好文 时间：
2015-05-09 20:33:38
阅读次数：
187
[Author]: kwu -- 使用sqoop --options-file 导入hive数据...
分类：
其他好文 时间：
2015-05-07 14:32:21
阅读次数：
185
1.sqoop将hive中的数据导入到mysqlforexample：sqoopexport--connectjdbc:mysql://10.18.101.15:3306/wda--usernamerestdbuser--password123456--tableadl_trend_num_android--export-dir/apps/hive/warehouse/adldb.db/adl_trend_num_android/date_stamp=$date--input-fields-..
分类：
数据库 时间：
2015-04-29 07:24:35
阅读次数：
245
1.读取要导入数据的表结构，生成运行类，默认是QueryResult，打成jar包，然后提交给Hadoop
2.设置好job，主要也就是设置好以上第六章中的各个参数
3.这里就由Hadoop来执行MapReduce来执行Import命令了，
1）首先要对数据进行切分，也就是DataSplit
DataDrivenDBInputFormat.g...
分类：
其他好文 时间：
2015-04-24 16:26:35
阅读次数：
110
前面我分别介绍了两种Hive将分析结果导入到MySQL表的两种方式：Sqoop导入方式和使用Hive、MySQL JDBC驱动，现在我介绍第三种，也是使用比较多的方式——使用Hive
自定义函数（UDF或GenericUDF）将每条记录插入到数据库表中。
一、使用UDF方式
使用UDF方式实现比较简单，只要继承UDF类，并重写evaluate方法即可
1、编...
分类：
数据库 时间：
2015-04-24 09:10:37
阅读次数：
591
最近在做一个交通流的数据分析，需求是对于海量的城市交通数据，需要使用MapReduce清洗后导入到HBase中存储，然后使用Hive外部表关联HBase，对HBase中数据进行查询、统计分析，将分析结果保存在一张Hive表中，最后使用Sqoop将该表中数据导入到MySQL中。整个流程大概如下：
下面我主要介绍Hive关联HBase表——Sqoop导出Hive表到MySQL这...
分类：
数据库 时间：
2015-04-22 11:47:45
阅读次数：
287
一、Sqoop基础：连接关系型数据库与Hadoop的桥梁1.1 Sqoop的基本概念 Hadoop正成为企业用于大数据分析的最热门选择，但想将你的数据移植过去并不容易。Apache Sqoop正在加紧帮助客户将重要数据从数据库移到Hadoop。随着Hadoop和关系型数据库之间的数据移动渐渐变...
分类：
其他好文 时间：
2015-04-20 01:45:02
阅读次数：
234
SQOOP是用于对数据进行导入导出的。(1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中 (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中1.把数据从mysql导入到hdfs(默认是/user/)中 sqoop import ...
分类：
其他好文 时间：
2015-04-20 00:33:20
阅读次数：
139
