Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成。 HBase是一个开源的，基于列存储模型的分布式数据库 HDFS是一个分布式文件系统。有着高容错性的特点，并且设计用来部署在低廉的硬件上，适合那些有着超大数据集的应用程序 MapR ...
分类：
其他好文 时间：
2020-07-06 15:47:59
阅读次数：
67
集群环境 kafka+zkIP地址 主机名 Kafka版本 ZooKeeper版本 JDK版本172.17.0.2 kafka_node1 kafka_2.12-2.2.1.tgz zookeeper-3.4.14.tar.gz jdk-8u161-linux-x64.tar.gz172.17.0. ...
分类：
其他好文 时间：
2020-07-06 13:09:22
阅读次数：
50
Kafka安装部署 Kafka依赖zookeeper，默认kafka有自带的zookeeper，但是一般情况使用自建的好一些 1、 安装zookeeper 1) 创建目录 mkdir /data/kafka/zookeeper/{log,data} -p 2) 下载zookeeper安装包 cd / ...
分类：
其他好文 时间：
2020-07-06 10:58:34
阅读次数：
97
分布式调度——zookeeper 一、为什么需要zookeeper 大部分分布式应用需要一个主控、协调器或控制器来管理物理分子的子进程（如资源、任务分配等） 大部分应用需要开发私有的协调程序，缺乏一个通用的机制 协调程序的反复编写浪费，且难以形成通用、伸缩性好的协调器 协调服务 二、zookeepe ...
分类：
其他好文 时间：
2020-07-05 15:25:19
阅读次数：
113
==背景== 阿里云ECS服务器提示“ZooKeeper未授权访问高危风险” ==相关组件及版本== Linux：Centos 8.0 Zookeeper：3.5.6 Hadoop：2.8.3 Flink：1.10.0 ==Zookeeper ACL介绍== 网上随便找一个网站看看就应该可以了解了， ...
分类：
其他好文 时间：
2020-07-05 15:23:42
阅读次数：
207
打开zookeeper集群之后，zk正常，但是kafka启动之后总是会挂掉，查找logs日志里的server.log文件发现问题： 问题：A broker is already registered on the path /brokers/ids/0. This probably indicate ...
分类：
其他好文 时间：
2020-07-05 15:07:11
阅读次数：
103
在Kubernetes系统中，Pod的管理对象RC、Deployment、DaemonSet和Job都面向无状态的服务。 但现实中有很多服务是有状态的，特别是一些复杂的中间件集群，例如MySQL集群、MongoDB集群、Akka集群、ZooKeeper集群等，这些应用集群有4个共同点。 （1）每个节 ...
分类：
其他好文 时间：
2020-07-04 22:23:09
阅读次数：
58
Zookeeper 一．概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 工作机制 2．Zookeeper的基本概念 2.1zookeeper数据模型是一种分层的树形结构，和linux的文件系统结构类似， 1） zookeeper集群中的角色 Leader: ...
分类：
其他好文 时间：
2020-07-04 21:08:14
阅读次数：
70
2.4 java中操作zookeeper 引入依赖 <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.4.14</version> </dependen ...
分类：
编程语言 时间：
2020-07-04 20:57:40
阅读次数：
51
hbase2.1.9 centos7 完全分布式 搭建随记 这里是当初在三个ECS节点上搭建hadoop+zookeeper+hbase+solr的主要步骤，文章内容未经过润色，请参考的同学搭配其他博客一同使用，并记得根据实际情况调整相关参数 1. 指定位置解压 2. vi /etc/profile ...
分类：
其他好文 时间：
2020-07-04 19:08:39
阅读次数：
90
