利用Python调用HBASE的需要安装thrifthbase-thrift启动hbase的thrift服务：bin/hbase-daemon.shstartthrift默认端口是9090mysql到hbase的数据同步： 1、put 2、Importtsv 3、编写MapReduceJob导入 4、sqoop简单code:#!/usr/bin/envpython#coding=utf-8importsyssys.path.append..
分类：
编程语言 时间：
2017-07-22 22:34:03
阅读次数：
245
在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架。 日志采集框架Flume Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和 ...
分类：
Web程序 时间：
2017-07-21 23:25:52
阅读次数：
310
通过Sqoop将Hive表数据导入到MySQL通常有两种情况。 第一种是将hive上某张表的全部数据导入到mysql对应的表中。 第二种是将hive上某张表中的部分数据导入到mysql对应的表中。 两种方式的区别在于第二种情况需要指定要导入数据的列名称。两种情况的导入方式分别如下： 1.全部导入 S ...
分类：
数据库 时间：
2017-07-21 10:24:23
阅读次数：
245
列出 hive的 全部库 sqoop list-databases --connect jdbc:mysql://localhost --username hive --password hive 列出全部的表 sqoop list-tables --connect jdbc:mysql://loc ...
分类：
其他好文 时间：
2017-07-16 20:25:56
阅读次数：
208
一.什么是实时计算系统?(流式计算)1.离线计算和实时计算 离线计算 实时计算(流式计算) 典型代表 mapReduce Apache Strom，Spark Streaming 和JStream 数据 HDFS上 实时数据 采集数据 Sqoop(批量导入) Flume进行采集 保存结果 HDFS ...
分类：
Web程序 时间：
2017-07-15 10:04:17
阅读次数：
253
1.下载安装包及解压 tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 2.配置环境变量和配置文件 cd 到 sqoop解压目录 cp conf/sqoop-env-template.sh /conf/sqoop-env.sh 在sqoop-e ...
分类：
其他好文 时间：
2017-07-13 14:22:28
阅读次数：
177
报错栈： 调小fetchsize参数也不能解决，那问题很可能是某行数据占用空间很大。根据Sqoop生成的导入表对应的实例化类QueryResult.java的244行可定位到报错列是FILE_CONTENT，是个二进制列, 然后查询原库，果然最大的列长达到180M: ps: 怎么用标准的sql语句查 ...
分类：
编程语言 时间：
2017-07-05 00:35:39
阅读次数：
578
报错栈： 报错为sql抛出，sql改写后执行成功，下面两句都可以： sqoop的一个bug: https://issues.apache.org/jira/browse/SQOOP-1946, 解决方案大致为转换成string类型即可。发现这个列的类型为date, 因此解决方案为： --split- ...
分类：
数据库 时间：
2017-07-05 00:30:14
阅读次数：
1140
报错栈： 解决：调小sqoop参数：--fetch-size 解决：调小sqoop参数：--fetch-size 解决过程，查看sqoop源码，看到fetchSize，想到调整这个参数： ps: 调大mapper参数不管用，曾设置过参数：-D mapreduce.map.memory.mb=8192 ...
分类：
编程语言 时间：
2017-07-05 00:29:42
阅读次数：
1254
报错信息： 参考：http://blog.csdn.net/wsm6591289/article/details/34425919 ...
分类：
数据库 时间：
2017-07-05 00:27:40
阅读次数：
2800
