唯一原则 ? 由于在HBase中数据存储是Key-Value形式，若HBase中同一表插入相同Rowkey，则原先的数据会被覆盖掉(如果表的version设置为1的话)，所以务必保证Rowkey的唯一性 长度原则 ? Rowkey是一个二进制码流，Rowkey的长度建议设计在10~100个字节，不过 ...
分类：
其他好文 时间：
2020-06-02 18:38:52
阅读次数：
55
hbase在创建表的时候，一开始只有一个Region，当数据量越来越大时，此region不能承受数据量，就会进行split 这种方式有两种缺点：1.数据往一个region上写,会有写热点问题 2.region split会消耗宝贵的集群I/O资源 所以引入了预分区概念。 https://blog.c ...
分类：
其他好文 时间：
2020-06-02 11:27:42
阅读次数：
69
第一章、phoenix入门简介 1. Phoenix定义 Phoenix最早是saleforce的一个开源项目，后来成为Apache基金的顶级项目。 Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据 ...
分类：
其他好文 时间：
2020-06-01 18:05:21
阅读次数：
103
一、引言 1、 简介 Avro是Hadoop中的一个子项目，也是Apache中一个独立的项目，Avro是一个基于二进制数据传输高性能的中间件。在Hadoop的其他项目中例如HBase(Ref)和Hive(Ref)的Client端与服务端的数据传输也采用了这个工具。Avro是一个数据序列化的系统，可以 ...
分类：
Web程序 时间：
2020-05-31 22:07:53
阅读次数：
125
1.1、概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库mysql等 1.2、sqoop1与 ...
分类：
其他好文 时间：
2020-05-31 19:30:40
阅读次数：
69
Spring Boot版本v1.5.19.RELEASE 1、增加Jar <dependency> <groupId>com.spring4all</groupId> <artifactId>spring-boot-starter-hbase</artifactId> <version>1.0.0. ...
分类：
编程语言 时间：
2020-05-31 16:23:21
阅读次数：
63
一、通用优化 1.1、NameNode 的元数据备份使用 SSD 1.2、定时备份 NameNode 上的元数据 建议每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。 1.3、为 NameNode 指定多个元数据目录 使用 dfs.name.d ...
分类：
系统相关 时间：
2020-05-30 21:52:59
阅读次数：
105
1、HBase安装说明 JDK1.7以上 Hadoop-2.5.0以上 Zookeeper-3.4.5 2、Hadoop2.6安装 1) 解压 tar -zxvf hadoop-2.6.0.tar.gz 2) 配置hardoop的jdk cd /root/tools/hadoop-2.6.0/etc ...
分类：
其他好文 时间：
2020-05-30 15:46:42
阅读次数：
67
1.介绍 Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询，同时也可以将hive表中的数据映射到HBase中； 2.模型概念 2.1 将ETL操作的数据存入HBase 2.2 HBase作为Hive的数据源 2.3 构建 ...
分类：
其他好文 时间：
2020-05-25 14:00:35
阅读次数：
51
