hadoop环境介绍：master服务：node1slave服务器：node2，node3，node4mysql服务器：node29Thrift安装在node1服务器上！相关软件版本：hadoop版本：hadoop-0.20.2sqoop版本：sqoop-1.2.0-CDH3B4java版本：jdk1.7.0_67mysql版本：5.1.65Thrift版本：thrift-0.9.0thrift安装链接：..
分类：
编程语言 时间：
2014-10-24 19:07:42
阅读次数：
213
HBase的SQL能力一直不足。Phoenix缺乏Join能力，eBay提出的kylin还不够简洁，facebook Presto的HBase连接器还没公开。那么，Trafodion来了。它在HBase上提供了标准SQL功能，并支持事务OLTP。Trafodion是HP的开源举措，培养在惠普实验室和HP-IT开发一个企业级的SQL上的HBase解决方案。惠普拥有超过20年的积累，针对大数据的事务或业务工作负载，已经开发事务的SQL技术进入数据库technologyand解决方案。 Trafodion给Had...
分类：
数据库 时间：
2014-10-24 16:41:48
阅读次数：
440
起因：工作需要，我需要每5分钟从hbase中，导出一部分数据，然后导入到ES中，但是在开始阶段编写的python脚本，我发现从hbase读取数据的速度较慢，耗费大量的时间，影响整个导数过程，恐怕无法在5分钟内完成导数工作
在咨询了老人后，采取部门优化策略，并记录了实验结果。...
分类：
其他好文 时间：
2014-10-24 14:42:18
阅读次数：
205
举例说明kettle中javascript步骤的错误处理功能。...
分类：
编程语言 时间：
2014-10-23 09:32:42
阅读次数：
327
只使用Mapper不使用reduce会大大减少mapreduce程序的运行时间。有时候程序会往多张hbase表写数据。所以有如题的需求。下面给出的代码，不是可以运行的代码，只是展示driver中需要进行的必要项设置，mapper类需要实现的接口，map函数需要的参数以及函数内部的处理方式。实现过程比...
分类：
移动开发 时间：
2014-10-22 20:15:15
阅读次数：
219
本篇为安装篇较简单：
前提：
1: 安装了hadoop-1.0.4（1.0.3也可以）正常运行
2:安装了hbase-0.94.3, 正常运行
接下来，安装Hive，基于已经安装好的hadoop，步骤如下：
1：下载
从http://hive.apache.org/下载hive-0.9.0/
创建目录
/hive
将文件hive-0.9.0保存在/hive下
...
分类：
其他好文 时间：
2014-10-22 18:17:21
阅读次数：
197
以下内容由http://hbase.apache.org/book.html#getting_started节选并改编而来。运行环境：hadoop-1.0.4，hbase-0.94.22，jdk1.7.0_65Chapter1.Getting Startedcreate a table in HBa...
分类：
Web程序 时间：
2014-10-22 14:10:49
阅读次数：
552
1.安装由于还是学习阶段，所以没有在生产环境练习，就在本地建了个虚拟机进行HBase的安装。下载地址http://www.apache.org/dyn/closer.cgi/hbase/，选择一个镜像后，选择stable，选择一个版本下载，要下载带hadoop的，不然会提示找不到JAVA_HOME,...
分类：
其他好文 时间：
2014-10-22 12:46:04
阅读次数：
194
HBase集群在运行的时候会出现RegionServer宕机，原因： 网络断开，心跳发送失败，尝试连接其他的zookeeper服务器。（zookeeper会尝试连接其他所有的服务器），?网络恢复了，连接成功，但?session已经过期了，所...
分类：
其他好文 时间：
2014-10-21 20:00:54
阅读次数：
120
Sqoop即 SQL to Hadoop ，是一款方便的在传统型数据库与Hadoop之间进行数据迁移的工具，充分利用MapReduce并行特点以批处理的方式加快数据传输，发展至今主要演化了二大版本，Sqoop1和Sqoop2。
Sqoop工具是hadoop下连接关系型数据库和Hadoop的桥梁，支持关系型数据库和hive、hdfs，hbase之间数据的相互导入，可以使用全表导入和增量导入。
那么为什么选择Sqoop呢？
高效可控的利用资源，任务并行度，超时时间。 数据类型映射与转化，可自动进行，用户...
分类：
其他好文 时间：
2014-10-21 19:42:33
阅读次数：
651
