本篇将在阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建的基础上搭建，多添加了一个 datanode 节点 。 1 节点环境介绍： 1.1 环境介绍： 服务器：三台阿里云ECS服务器：master, slave1, slave2 操作系统：CentOS 7.3 Had ...
分类：
其他好文 时间：
2019-11-23 13:04:25
阅读次数：
81
本篇将在 阿里云ECS服务器部署HADOOP集群（一）：Hadoop完全分布式集群环境搭建 阿里云ECS服务器部署HADOOP集群（二）：HBase完全分布式集群搭建（使用外置ZooKeeper) 阿里云ECS服务器部署HADOOP集群（三）：ZooKeeper 完全分布式集群搭建 阿里云ECS服务 ...
分类：
其他好文 时间：
2019-11-23 12:54:33
阅读次数：
80
zk是干什么的？？？？？分布式服务架构，解决统一命名，状态同步，集群管理，分布式应用配置项管理为了减轻分布式应用程序所承担的协调任务,比如hadoop中多个NameNode节点，怎么管理与节点间信息同步，Hbase中master与slaver之间状态同步。怎么干的？？？既然是为了减轻协调任务，产生了角色，有老大leader，跟随的follower，观察的observerleader，负责投票的发起
分类：
其他好文 时间：
2019-11-22 15:29:36
阅读次数：
79
一.Hbase架构与理解 Hbase架构大致如下，图片取自https://www.cnblogs.com/linkworld/p/10963910.html。 二.Hbase shell操作 创建Hbase表时默认有一个region,这个region的rowkey是没有边界的，即没有开始的star ...
分类：
其他好文 时间：
2019-11-22 11:59:32
阅读次数：
58
近期，巨杉数据库正式推出了完整的SequoiaDB工具包，作为辅助工具，更好地帮助大家使用和运维管理分布式数据库。为此，巨杉技术社区还将持续推出工具系列文章，帮助大家了解巨杉数据库丰富的工具矩阵。本文作为系列第一篇，将分享巨杉数据库大数据存储工具sdblobtool的基本介绍和应用实践。巨杉工具矩阵一、对象存储与自建存储对比通俗地讲，自建存储就是自己购买服务器设备存储文件，通过运维人员手工进行文件
分类：
数据库 时间：
2019-11-21 10:20:07
阅读次数：
133
在使用Java API操作HBase时抛出如下异常： Illegal reflective access by org.apache.hadoop.security.authentication.util.KerberosUtil (file:/C:/Users/RYJ/.m2/repository ...
分类：
数据库 时间：
2019-11-21 09:26:13
阅读次数：
103
HBase 安装snappy压缩软件以及相关编码配置 前言 ? 在使用HBase过程中因为数据存储冗余、备份数等相关问题占用过多的磁盘空间，以及在入库过程中为了增加吞吐量所以会采用相关的压缩算法来压缩数据，降低存储空间和在入库过程中通过数据压缩提高吞吐量。 一、HBase安装Snappy压缩软件 h ...
分类：
移动开发 时间：
2019-11-20 18:02:28
阅读次数：
126
@PostConstruct public void init() throws Exception { if (conn == null) { // System.setProperty("hadoop.home.dir", "G:/keyberos/hbase"); System.setProp ...
分类：
编程语言 时间：
2019-11-20 16:58:19
阅读次数：
277
ZooKeeper 简介 ZooKeeper 是一个分布式的、开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现，是 Hadoop 和 Hbase 的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。Zoo ...
分类：
编程语言 时间：
2019-11-20 15:29:06
阅读次数：
93
api 调用发现错误 Mon Nov 18 23:04:31 CST 2019, RpcRetryingCaller{globalStartTime=1574089469858, pause=100, retries=35}, org.apache.hadoop.hbase.MasterNotRun ...
