1、hbase数据flush过程 1）当MemStore数据达到阈值（默认是128M，老版本是64M），将数据刷到硬盘，将内存中的数据删除，同时删除HLog中的历史数据； 2）并将数据存储到HDFS中； 3）在HLog中做标记点。 2、数据合并过程 1）当数据块达到4块，hmaster将数据块加载到 ...
分类：
其他好文 时间：
2020-11-17 11:47:51
阅读次数：
3
Rowkey设计时需要遵循三大原则： 1. 唯一性原则 rowkey在设计上保证其唯一性。rowkey是按照字典顺序排序存储的，因此，设计rowkey的时候，要充分利用这个排序的特点，将经常读取的数据存储到一块，将最近可能会被访问的数据放到一块。 2. 长度原则 rowkey是一个二进制码流，可以是 ...
分类：
其他好文 时间：
2020-11-13 13:05:38
阅读次数：
7
问题: 今天再将数据通过excel导入pgsql数据库的时候出现了中文变为问号的情况。使用的是Navicat自带的导入功能. 思路: 是excel或者pgsql的编码格式不一样, 考虑都是用utf8 解决: (1)查看EXCEL的编码格式: 选择另存为的时候选择 工具->web选项->编码格式->u ...
分类：
数据库 时间：
2020-11-12 14:21:41
阅读次数：
18
软件行业流行一句话：“不想当架构师的程序员，不是一个好的程序员。” 看似是一种调侃，但从职业发展的层面讲，成为架构师，是一个目标！ 我是王波，一名软件架构师，精通Java互联网技术开发和实践。 成功开发过基于通信、电商、数据管理、OA、ERP、SAAS等相关业务平台的项目。 给大家介绍一下我的Jav ...
分类：
编程语言 时间：
2020-11-10 10:56:13
阅读次数：
24
将.txt格式文件插入Hbase中，代码如下 package addHbase; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.ap ...
分类：
其他好文 时间：
2020-11-06 02:49:19
阅读次数：
37
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apache.hadoop.hbase.ut ...
分类：
其他好文 时间：
2020-11-06 01:37:17
阅读次数：
15
知乎HBase实践前言HBase是一个基于Hadoop面向列的非关系型分布式数据库(NoSQL),设计概念来源于谷歌的BigTable模型，面向实时读写、随机访问大规模数据集的场景，是一个高可靠性、高性能、高伸缩的分布式存储系统，在大数据相关领域应用广泛.HBase系统支持对所存储的数据进行透明切分，从而使得系统的存储以及计算具有良好的水平扩展性.知乎从2017年起开始逐渐采用HBase系统存储各
分类：
其他好文 时间：
2020-11-06 01:07:32
阅读次数：
22
环境: 操作系统:ubuntu 12.10 64bit jdk:sun jdk 1.6 64bit hadoop:apache hadoop 1.02 hbase：apache hbase 0.92 先决条件:配置apache hadoop append,默认这个属性是false，需要设置为true ...
分类：
其他好文 时间：
2020-11-04 18:45:23
阅读次数：
16
一 mysql 安装[root@rh8 ~]# yum module install mysql # 下载mysql[root@rh8 ~]# systemctl enable --now mysqld # 启动MySQL服务注：说明安装MySQL 8.0成功了。 [root@rh8 ~]# mys ...
分类：
数据库 时间：
2020-10-18 10:14:17
阅读次数：
33
到http://mirror.bit.edu.cn/apache/hbase/下载对应的Hbase版本 我这里下载的是hbase-2.2.6-bin.tar.gz版本，是较稳定的版本。 解压： tar -zxvf /home/hadoop/桌面/hbase-2.2.6-bin.tar.gz 移动位置 ...
分类：
系统相关 时间：
2020-10-18 09:47:54
阅读次数：
26
