datax DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 Github项目链接： "Github datax" 简介参考： "CNSD datax简介" ...
分类：
其他好文 时间：
2019-10-15 10:05:37
阅读次数：
86
一:使用:kettle:wind本地MySQL数据到hive的指定路径二:问题:没有root写权限网上说的什么少jar包,我这里不存在这种情况,因为我自己是导入jar包的:mysql-connector-java-5.1.22-bin.jar我是从wind本地MySQL导数据到hive的指定路径,会 ...
分类：
数据库 时间：
2019-10-15 09:24:39
阅读次数：
112
一:使用:kettle:wind本地MySQL数据到hive的指定路径二:问题:没有root写权限网上说的什么少jar包,我这里不存在这种情况,因为我自己是导入jar包的:mysql-connector-java-5.1.22-bin.jar我是从wind本地MySQL导数据到hive的指定路径,会 ...
分类：
数据库 时间：
2019-10-15 09:20:22
阅读次数：
115
hbase 数据获取方式 hbase 数据排序怎么做？ 我觉得这个分两种情况，一是数据量比较少，业务上每次拉取所有的数据，可以在客户端做排序，二是数据比较多，需要分页，这种情况下客户端做显然不合适，因为要从服务器拉取所有数据，排序完成，获取某一页，剩余的数据全都不用，资源损耗比较严重，比较推荐做法是 ...
分类：
其他好文 时间：
2019-10-14 12:12:50
阅读次数：
78
1. HBase基本介绍 a. 介绍 Hbase是一个nosql的列式存储的数据库。实际来源于Google发表的论文bigtable。构建在hdfs基础之上。 b. Hbase的特点 2. Hbase和hadoop的关系 a. hdfs b. Hbase 总结：紧耦合关系，Hbase依赖于hdfs ...
分类：
其他好文 时间：
2019-10-14 01:39:31
阅读次数：
120
hive与hbase的联系与区别：共同点：1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储。 他们的底层是要通过mapreduce分布式计算的，hbase、hive、pig底层都是这样的。但整体来说hadoop还是比较快的，因为它是进行海量数据存储和分布式计算，这 ...
分类：
其他好文 时间：
2019-10-10 22:26:21
阅读次数：
132
（1）Bloomfilter在Hbase中的作用 Hbase利用Bloomfilter来提高随机读（get）的性能，对于顺序读（scan）而言，设置Bloomfilter是没有作用的（0.92版本以后，如果设置了bloomfilter为rowcol，对于执行了qualifier的scan有一定的优化 ...
分类：
其他好文 时间：
2019-10-10 17:28:00
阅读次数：
145
HBase用途： 基于Hadoop Distributed File System，是一个开源的，基于列存储模型的分布式数据库。HBase简介： HBase是一个分布式的、多版本的、面向列的开源数据库 1）利用Hadoop HDFS作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写的 ...
分类：
其他好文 时间：
2019-10-10 00:04:15
阅读次数：
135
报错内容： 解决方法： 在配置文件 hbase-site.xml 中添加： https://www.cnblogs.com/kevin19931015/p/9243230.html https://stackoverflow.com/questions/48709569/hbase-error-il ...
分类：
其他好文 时间：
2019-10-07 17:45:52
阅读次数：
101
一、Hbase概念及特点 Hbase以表的方式组织数据，表由行（Row）以及列（Column）组成，行由row key和一个或多个列及其值组成，列必须属于某一列族（Column family），一个列族可以有一个或多个列（一列由列簇和列修饰符组成，他们通常由冒号（：） 分隔），其在存储架构中就是一个 ...
分类：
其他好文 时间：
2019-10-07 11:10:29
阅读次数：
62
