安装zookeeper: 下载地址:http://mirror.bit.edu.cn/apache/zookeeper/ zk节点最好是奇数个,这样子方便在节点中选取leader节点; 上传zookeeper-3.4.10的安装包到/software目录下: 解压到/software下;进入zook ...
分类:
系统相关 时间:
2017-12-20 13:31:57
阅读次数:
187
在本机利用VM启动了4台虚拟机来搭建zookeeper集群,但是每次电脑重启后,虚拟机的IP都会变化,现在想来固定每台虚拟机的IP。 1、Step1:查看网关和子网掩码 记住选用NAT模式,点击NAT设置。 记下这里的网关IP&子网掩码 2、设置本机的VM网络 3、设置虚拟机的连接 可以通过修改配置 ...
分类:
其他好文 时间:
2017-12-14 03:59:09
阅读次数:
245
原文地址 ZooKeeper是Hadoop Ecosystem中非常重要的组件,它的主要功能是为分布式系统提供一致性协调(Coordination)服务,与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper,第一部分介绍ZooKeeper的基本原理,第二部 ...
分类:
其他好文 时间:
2017-12-13 11:54:38
阅读次数:
162
1、集群配置思路 1)每台节点上要启动一个broker进程,因此要配置每台的server.properties broker id, log.dirs, zookeeper.connect 2) 每台broker都要连接zookeeper将状态写入,因此要配置每台的zookeeper.propert ...
分类:
其他好文 时间:
2017-12-09 14:57:03
阅读次数:
200
以下命令都是在kafka根目录下 启动kafka(启动完zookeeper后,应再新开个窗口启动kafka,不然会报超时错误,可能由于我用的linux命令有问题,ctrl+z让它后台运行,没有起作用。回头在研究一下) 查看所有的topic相信信息(描述) ...
分类:
其他好文 时间:
2017-12-06 14:27:36
阅读次数:
164
package com.neworigin.HBaseMR; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import or... ...
分类:
其他好文 时间:
2017-12-04 19:01:26
阅读次数:
170
1.拷贝HBase压缩文件到/usr/local/src/目录下, 并解压 2.进入到hbase的/conf/目录下, 修改hbase-site.xml文件 3.修改/conf/目录下的hbase-env.sh文件, 配置JAVA_HOME, CLASSPATH, 配置hbase使用自己的zooke ...
分类:
其他好文 时间:
2017-12-02 15:07:42
阅读次数:
160
以下列举了运行和管理ZooKeeper ensemble的一些最佳实践: 1. ZooKeeper数据目录包含快照和事务日志文件。如果 选项未启用,定期清理目录是一个好习惯。另外,管理员可能希望保留这些文件的备份,具体取决于应用程序的需要。但是,由于ZooKeeper是一个复制服务,我们只需要备份整 ...
分类:
其他好文 时间:
2017-12-01 21:58:39
阅读次数:
211
第一部分: Zookeeper 简介 Zookeeper 是 Google 的 Chubby一个开源的实现,是 Hadoop 的分布式协调服务 自2010年10月升级成Apache Software Foundation(ASF)顶级项目 分布式协调服务,提供以下功能: 组管理服务 分布式配置服务 ...
分类:
其他好文 时间:
2017-11-29 12:51:19
阅读次数:
138
hbase.rootdir hdfs://server110/hbase hbase.cluster.distributed true hbase.zookeeper.quorum server:110,spark01:2181 ...
分类:
其他好文 时间:
2017-11-28 11:47:23
阅读次数:
209