概述 zookeeper是一个高可用的分布式数据管理与协调框架,基于ZAB算法实现,主要解决分布式一致性问题。 https://www.cnblogs.com/felixzh/p/5869212.html 核心概念 节点 zk的命名空间是由一系列数据节点组成的,节点上可以包含数据。 类型 节点类型分 ...
分类:
其他好文 时间:
2018-04-03 12:52:57
阅读次数:
132
大数据解决四大核心问题: 数据的存储(Big Data Storage),海量数据需要处理和分析,但前提是要进行有效的存储。Hadoop的诞生突破了传统数据文件系统的单机模式。HDFS使得数据可以跨越不同的机器与设备,并且用一个路径去管理不同平台上的数据。 数据的计算(Data Calculatio ...
分类:
其他好文 时间:
2018-04-01 21:53:56
阅读次数:
140
环境如下: CentOS-7-x86_64zookeeper-3.4.11kafka_2.12-1.1.0 一.zookeeper下载与安装1)下载zookeeper 2)解压 3)配置 修改或添加zoo.cfg文件中如下两个配置项: 创建zk数据存储和zk日志存储目录: 4)配置环境变量 配置项如 ...
分类:
其他好文 时间:
2018-04-01 10:42:10
阅读次数:
1580
zk解决什么问题 分布式一致性问题 一致性一般定义是分布式系统中状态或数据保持同步和一致。实际上就是围绕着“看见”来的。谁能看见?能否看见?什么时候看见? 举个例子:淘宝后台卖家,在后台上架一件大促的商品,通过服务器A提交到主数据库,假设刚提交后立马就有用户去通过应用服务器B去从数据库查询该商品,就 ...
分类:
其他好文 时间:
2018-03-31 11:00:58
阅读次数:
449
第一次尝试自己在Windows上搭建zk的集群,是在搭建单机zk的基础上操作的。 单机时的zoo.cfg文件如下所示,可正常启动 # The number of milliseconds of each tick tickTime=2000 # The number of ticks that th ...
分类:
Windows程序 时间:
2018-03-31 00:35:48
阅读次数:
2142
"Zookeeper安装配置及简单使用" "Zookeeper API如何进行调用" "分布式架构详解" "一致性协议详解" "Paxos算法及ZAB协议" "Chubby技术架构解析" "ZkCLient、Curator" "Zk大型分布式系统中的应用" "分布式锁、发布订阅" "Zk命名服务、M ...
分类:
其他好文 时间:
2018-03-25 18:13:01
阅读次数:
167
EM算法 极大似然估计(MLE) 最大后验概率(MAP) https://blog.csdn.net/shenxiaoming77/article/details/51643845 https://blog.csdn.net/zk_j1994/article/details/53997787 htt ...
分类:
其他好文 时间:
2018-03-23 21:15:01
阅读次数:
189
$ cd /usr/local/ $ tar -zxvf zookeeper-3.4.5.tar.gz $ mv zookeeper-3.4.5 zk $ cd $ vi .bashrc $ source .bashrc $ cd /usr/local/zk/conf/ $ mv zoo_sampl ...
分类:
其他好文 时间:
2018-03-19 00:31:30
阅读次数:
196
1.上传一个zk.tar2.解压3.创建目录data4.修改zoo_sample.cfg > zoo.cfg5.修改文件的dataDir改为/data目录,echo 1 >/data/myid6.在文件结尾加上 (投票选举机制,奇数 ,第一个端口号是client连接端口,第二个是内部通信的选举的端口 ...
分类:
其他好文 时间:
2018-03-18 23:18:07
阅读次数:
233
一、卡方分布 若k个独立的随机变量Z1,Z2,?,Zk,且符合标准正态分布N(0,1),则这k个随机变量的平方和,为服从自由度为k的卡方分布。 卡方分布之所以经常被利用到,是因为对符合正态分布的随机变量的处理过程中,很容易出现其平方和的统计量。 正如在卡方检验问题中出现这个统计量一样自然。 二、卡方 ...
分类:
其他好文 时间:
2018-03-18 17:13:58
阅读次数:
406